传说以前津村（现镰仓市）周围方圆40里是一个大湖，在湖中住着一条五头恶龙。它搞得该地山崩地裂，疾病流行，洪水台风肆虐。人们无法制止它的恶行，结果村庄荒芜。所以形成子死越（现江之岛对岸的腰越）。在钦明13年的某日，突然海面上空乌云密布，天动地撼。云中出现了一位美丽的仙女，随后突然海面上浮起一座岛屿。恶龙对仙女一见钟情，随即承诺不再作恶，痛改前非而向仙女求婚。由于它的不懈努力，不断行善，最终和仙女喜结良缘。从此，五头龙和众神一起改造该岛，并保护着居住在这里的人们。而且传说该龙是弁天才的化身。甚至德川家康也曾来进行过参拜。在江户时代，这里就成为了江户（现东京）人的观光地之一。并由于弁天才的音乐才华，这里还一直是歌舞伎演员的胜地。
由于有这么个美丽的传说，岛上自然和龙有关的景点就特别多，有龙宫，龙窟等。甚至在平成8年（1996年），在岛上龙野冈还铸造了一口镌刻着3481对爱人们的爱与誓言的「爱之钟」成为了岛上的一个新景点。