彭玉麟执意不受两江总督，朝廷同意开缺，但给他派了个闲职——“长江水师巡阅使”，两江总督则授予了左宗棠。
　　彭玉麟回到家乡衡阳，办了三件事：一是建了幢三进瓦房作为栖身之所；二是他为母守孝，补上不足的时间；三是捐款白银12000两，在衡阳城内建立船山书院。船山书院后来成为全国著名学府，培养了数以万计人才。而彭玉麟外出不坐轿，不带随从，布衣青鞋，如同山野老农。
　　彭玉麟的故居位于衡阳市湘江东岸，名叫“退省庵”，意思是“退后反省”。2007年11月，记者来到“退省庵”，见到既不豪华，也不显赫的“退省庵”，它只剩下两排平房，并排六间，比普通民居高大宽敞，平房后有一个小花园，并没有小桥流水，楼台亭阁。进入故居，见到彭玉麟画像，看来他是个面色严峻、不苟言笑的人。退省庵内设陈列馆，展出彭玉麟一生事迹。

寒士从军建立“天下第一功”
　　彭玉麟祖籍湖南衡阳，1816年出生于在安徽省怀宁县三桥镇，他的父亲彭鸣九在当地任巡检，是一低级小官。17岁时，彭家遭遇剧变，彭玉麟的祖母在衡阳病逝，父母带他回衡阳县渣江镇奔丧，受到族人欺负，田产被族人侵占，彭鸣九悲愤交加，郁郁而死。后来，彭玉麟在衡阳府石鼓书院读书，但为生计所困，被迫中途辍学，到耒阳县一家当铺当伙计。29岁那年，湖南学政陈壈到衡阳视察，无意中发现他是个人才，破格给他秀才功名。
　　太平天国的崛起给了彭玉麟显示才干的机会。清咸丰三年，洪秀全领导的太平军从广西进入湖南，围攻耒阳城，来势凶猛，城池眼看就要陷落。这时，身为当铺伙计的彭玉麟却表现出过人的勇气与胆略，他将当铺的财物作为军饷，招募乡勇，登城守卫，硬是击退了太平军的多次进攻，守住了耒阳城。论功行赏时，他只提了一个要求：将当铺作为军饷的资财发还，“把总”的职位不要。这事在当时成为笑谈。
　　彭玉麟名声大振，后来曾国藩到衡阳扩编湘军，认为他有胆有略，就发函相邀，言辞恳切，彭玉麟于是接受邀请，投奔湘军，在水师当一营官。
　　彭玉麟作战勇猛，在著名的武穴田家镇一战中，他的水师全部赤着上身，站立船头，向前开进，太平军的炮火与弓箭从两岸打来，水兵无一侧身躲避，无一伏倒避箭。太平军悍将大惊失色，落荒而逃。湘军水师乘机用桐油烧熔了锁在长江上的六条铁链，再用利斧砍断，终于突破了太平军精心筑就的长江天险，乘胜东下，直达江西九江。彭玉麟在这次战役中，就站在第三梯队的船头，右臂负伤，鲜血染红了战袍。

　越是辞官朝廷越是授予高官
　　彭玉麟上疏请求辞去两江总督的辞呈，系统地表述了他的为官理念，很有见地，现在读来不失参考价值。他说：
　　“臣墨绖从戎，创立水师，治军十余年，未尝营一瓦之覆，一亩之殖；受伤积劳，未尝请一日之假；终年风涛矢石之中，未尝移居岸上求一日之安。诚以亲服未终，而出从戎旅，既难免不孝之罪，岂敢复为身家之图乎？”
　　彭玉麟创建水师10年，始终在波涛汹涌的船上，没有上岸求得一日之安逸，但一生中有一遗憾，就是为母守孝未满三年，身负不孝之罪。
　　接着他说：
　　“臣之从戎，志在灭贼，贼已灭而不归，近於贪位；长江既设提镇，臣犹在军，近於恋权；改易初心，贪恋权位，则前此辞官，疑是作伪；三年（守孝）
　　之制，贤愚所同，军事已终，仍不补行终制，久留於外，涉於忘亲。”

太平军已灭，湘军水师改编为朝廷长江水师，朝廷已任命了长江提镇，他作为长江水师的创始人，如仍留在水师之中，就是贪恋权位。
　　他认为对官员要善于藏其短而扬其长，而不能将其才智精力榨干用尽；而官员要既知进又知退。他说：
　　“人之才力聪明，用久则竭，若不善藏其短，必致转失所长。古来臣子，往往初年颇有建树，而晚节末路陨越错谬，固由才庸，亦其精气竭也。臣每读史至此，窃叹其人不能善藏其短，又惜当日朝廷不知善全其长。知进而不知退，圣人於易深戒之，固有由矣。”
　　最后，他认为自己无经济之学，勉强出任两江总督，必然贻误国事，“恳请天恩开臣兵部侍郎本缺，回籍补行终制。报国之日正长，断不敢永图安逸也。”他不仅要求辞掉两江总督，连原有的兵部侍郎也要辞。有意思的是，他越是请求辞职，朝廷越要授予他高官，到光绪九年，朝廷又提拔他任兵部尚书，他再次以身体有病推辞。
　　《清史稿》对彭玉麟有很高的评价，称：“玉麟刚介绝俗，素厌文法，治事辄得法外意，不通权贵，而坦易直亮，无倾轧倨傲之心。”他任长江水师巡阅使时，每年巡阅一次，每次出巡，侦得官吏有不法行为则严惩，甚至按军法处斩。因此他所到之处，官吏都是惶恐不安，民间有冤屈，都盼望他早日到来。他不在官位，而吏部考察屡屡加以褒奖，对他的倚重高于封疆大吏。

圣人然是这类鲜有人发现的人。