二十年,遇疾,太宗幸其第问之,因叙说生平,流涕歔欷而诀。二十一年正月壬辰,薨于京师崇仁里私第,时年七十二。太宗又命驾将临之,司空玄龄以上饵药石,不宜临丧,抗表切谏,上曰:“朕之此行,岂独为君臣之礼,兼以故旧情深,姻戚义重,卿勿复言也。”太宗从数百骑出兴安门,至延喜门,长孙无忌驰至马前谏曰:“饵石临丧,经方明忌。陛下含育黎元,须为宗社珍爱。臣亡舅士廉知将不救,顾谓臣曰:‘至尊覆戴恩隆,不遗簪履,亡殁之后,或致亲临。内省凡才,无益圣日,安可以死亡之余,辄回宸驾,魂而有灵,负谴斯及。’陛下恩深故旧,亦请察其丹诚。”其言甚切,太宗犹不许。无忌乃伏于马前流涕,帝乃还宫。赠司徒、并州都督,陪葬昭陵,谥曰文献。士廉祖、父洎身,并为仆射,子为尚书,甥为太尉,当代荣之。六子:履行、至行、纯行、真行、审行、慎行。及丧柩出自横桥,太宗登故城西北楼望而恸。高宗即位,追赠太尉,与房玄龄、屈突通并配享太宗庙庭。
史书记载也很感人I