1944年，日本军队在豫湘桂战役中占领衡山，对忠烈祠进行了大规模的破坏。在抗日战争胜利之后，国民政府予以重修。
中华人民共和国成立后，祠内许多中华民国军政要人题写的碑刻匾额大都在文化大革命开始后遭到红卫兵严重破坏。
1983年起，南岳忠烈祠重新获得有效保护，修复了各主要建筑及部分墓地，并用复制品或后人的新作代替了先前被毁的题刻。目前忠烈祠内供奉著国共两党在抗日战争中牺牲的将士。