《长安客话》记载，嘉靖年间，世宗朱厚璁有一次前往金山景泰陵谒陵。有官员认为金山口的道路太过狭窄，于是拓宽了数十尺以迎接圣驾。精通风水的人发现了倪端，功德寺所在的位置是白虎口，虎口张，将不利于寺。果不其然，当日朱厚璁驻跸寺中，饭后绕行于廊庑之间。当他看到寺内的金刚面目狰狞，心悸而怒，以殿宇超越规制为由治罪于寺僧，功德寺就此败落荒废。