古城先有市(指政府机构所在地),后有城(指城墙)。据明嘉靖《宁国府志》载:汉高祖六年(前201),刘邦下令直接隶属汉王朝的郡县修筑城墙,但是,古城所在的长江以南地境,时隶属于楚王韩信的封地(都城位于下邳,即今江苏邳县东)。刘邦为防止隶属于这些异姓王的郡县利用城池对抗朝廷,不准兴建城池。三国孙吴时期,古城为江南望郡——丹阳郡郡治所在地,从防止丹阳郡境内山越人的袭扰或从对抗曹魏、蜀汉的军事斗争需要,必然筑有城墙,然当时的城墙多为泥土垒成,长年风侵雨蚀极易毁坏,其建筑规模等基本情况,暂未发现文字记载。宣城城墙现有文字记载始于西晋时期的桓彝。“汉高帝六年,令天下郡邑城,时江以南犹为楚之封国。吴赤乌二年(239),(孙权)敕诸郡各治其城郭,江南郡城始此。[晋]咸和初,内史桓彝遂城宛陵。今世传子城彝所筑。”