潭柘古刹，历经了十多个朝代，规模宏大，曾有难以数计的僧人在这里修行，并终老于此，因而在寺院附近留下了数量众多的僧人墓塔。如今在寺前的塔林内完好的保存着形式多样的历代佛塔七十余座。下塔院的塔林埋葬着金、元、明三代的部分高僧，塔形不一，种类较多，有石经幢式塔、方形单层浮层屠式塔、密檐式砖塔和覆钵形藏式石塔。