王夫之以大明遗老自命,从不与当时仕宦之家联姻。他继配的张氏生了一个女儿,嫁与郡文学李报琼的儿子李向明为妻,陶氏所生长子王放有二女,长孙女配与前明兵部尚书刘尧诲的孙子刘法忠,次孙女配与郡文学熊荣祀的儿子熊时干。
40年来,王夫之常常沉浸在往事的回忆中。衡阳是他的许多友人、同僚战斗过的地方,触物生情便是寻常的事情,他写了很多诗哀悼故人,凭吊先烈。他把故人故事写成片段,集为《病枕忆得》、《南窗漫记》。蒙正发(圣功)在解职后写《三湘从事记》叙隆武冬起义,兵败投何腾蛟、章旷,到何腾蛟败没三四年间战事,请王夫之作序,又触痛了他的精神创伤,他在序言中说:“华亭公以劳夭,义兴公以莞终,余与圣功屡不死,而今又从而言之,……余何忍复读三湘纪事哉?”
康熙三十一年(1692年)农历正月王夫之逝于石船山下的湘西草堂,终年74岁。他去世之前自作墓志铭,担心后人过誉失实,跋曰:“墓石可不作,徇汝兄弟为之,止此,不可增损一字。行状原为请志铭而作,既有铭,不可赘。若汝兄弟能老而好学,可不以誉我者毁我,数十年后略记以示后人可耳,勿庸问世也。背此者,自负其心。”王夫之是学者,不信鬼魂故遗命禁用增道追荐亡灵。只是在墓碑上写道: “明朝遗臣王夫之之墓”,以志他的民族主义精神。