《史记》记载伍子胥死后，吴国人民深感悲痛与惋惜，为了纪念他的英勇与忠诚，特地在江边为他建立了一座祠庙，命名为“胥山”。这便是伍子胥祭祀活动的起源。王充在《论衡》中进一步描述了这一传说：吴王夫差杀害了伍子胥，将其尸体放入锅中煮烂后，装进皮革袋中投入江中。据说伍子胥的怨恨驱使他化作波涛汹涌的江水，以淹没行人来表达自己的愤怒，因此会稽、丹徒、大江、钱塘以及浙江等地纷纷建立了他的祠庙以示安抚。《后汉书》也提到了张禹担任扬州刺史时，在渡江巡视途中，地方官员告知他江中有伍子胥的神祇存在，需要进行祭祀。这反映了两汉时期对伍子胥的尊崇。
到了三国时期，《吴志》记载孙綝因为对神明不敬而烧毁了大桥头的伍子胥庙。这种行为被当时社会认为是亵渎神灵的表现，由此可见伍子胥庙在当时已经具有相当重要的地位。《隋书》中则讲述了高劢作为楚州刺史时的故事。当地有一座供奉伍子胥的庙宇，百姓们非常尊敬这位神祇，以至于许多人为了祈求好运而献上牛和酒作为祭品，甚至有人为此倾家荡产。高劢于是严厉禁止这种行为。从这个例子可以看出，即使在经历了数百年后，伍子胥庙仍然享有极高的声望。
唐代文献《唐书》中提到狄仁杰在江南地区摧毁了许多被认为是淫祠的地方，但唯独保留了夏禹、吴泰伯、季札以及伍员（即伍子胥）四位先贤的祠堂不受破坏。值得注意的是，尽管随着时间流逝，很多古代所崇拜的对象逐渐淡出了人们的记忆，但是关于伍子胥的信仰却在唐朝之后变得更加盛行。这可能是因为狄仁杰没有将其列为非法建筑之一，从而得以保存下来；又或者是因为伍子胥的灵魂依然活跃于人间，继续受到人们的敬仰。
宋代史料《北梦琐言》记录了一个有趣的故事：闽王审知梦见已故的吴安王（即伍子胥）承诺帮助解决海上航行障碍的问题，随后派遣刘山甫前往祭奠。仪式结束后不久，海面上出现了一条长达数百丈的巨大黄色生物，它奋力击打着岩石，最终使得航道变得畅通无阻。这条新开辟出来的水路后来被命名为“甘棠港”。
《宋史》还讲述了另一个关于马亮治理杭州期间发生的奇迹。当遇到严重的潮汐灾害时，马亮向伍员祠祈祷求助，第二天洪水果然退去，露出了几里外的沙滩。这些事迹表明伍子胥不仅生前为国家做出了巨大贡献，在去世之后也继续以其超凡的力量保护着这片土地及其人民。《元史》记载，在大德三年的时候，朝廷再次追封伍子胥为“忠孝威惠显圣王”，进一步肯定了他在历史上的重要地位。