刘宋元嘉十一年（434）后，颜延之因愤懑于皇权旁落，仗义执言，所谓“天下之务，当与天下共之，岂一人之智所能独了”（《宋书·颜延之传》），得罪新贵刘湛、殷景仁，被彭城王刘义康贬为永嘉太守。其于永嘉太守任上，曾率领属下诸人巡视温州沿海地区，路经洞头，遂于洞头大门岛青澳山筑望海楼。《读史方舆纪要·温州府·永嘉县》记载：“府东二百里海中，两山对峙如门，亦名青澳门。刘宋永明中郡守颜延之于此筑亭望海。”（“永明”当为“元嘉”之误。）唐人张又新有《青㠗山》（青㠗，即是青澳）：“灵海泓澄匝翠峰，昔贤心赏已成空。今朝亭馆无遗制，积水沧浪一望中”，以追忆望海楼与先贤。望海楼虽于颜延之后数百年因风沙海水的侵蚀而消散，但依旧存蓄了前贤的精神气象。二十世纪八十年代后，温州当地开始重建望海楼，以延续并继承前辈贤人的风骨，并助力了瓯江山水诗路景观带的建设。