康熙二十年春，康熙帝当面褒赞他为“今时清官第一”。于成龙始终把整顿吏治放在工作的首位，针对各属贿赂公行，请客送礼之风，他从利用中秋节向他行贿的官员开刀，惩一儆百。于成龙的官阶虽越升越高，但生活却更加艰苦。为扼止统治阶级的奢侈腐化，带头实践“为民上者，务须躬先俭仆”。去直隶，他“屑糠杂米为粥，与同仆共吃”，在江南“日食粗粝一盂，粥糜一匙，侑以青菜，终年不知肉味。”江南民因而亲切地称他作“于青菜”。总督衙门的官吏在严格的约束下，“无从得蔬茗，则日采衙后槐叶啖之，树为之秃。”他天南地北，宦海20余年，只身天涯，不带家眷，只一个结发妻，阔别20年后才得一见。他的清操苦节享誉当时，卒后居室中只看到“冷落菜羹……故衣破靴，外无长物”。