郑玄被解除党锢后，在家乡（今山东省高密市双羊镇后店村）讲学授徒。黄巾大起义后，郑玄同其门徒迁往胶东不其山（今青岛城阳区铁骑山），避难隐居。他在山中建立书院，一面讲学，一面整理古代历史文献，同时将自己大半生的学经收获记载下来，著书立说，慕名前来求学者达千人。
     书院被称为康成书院，北倚不其山，南临墨水河，初建时的规模、结构等因缺乏资料，已难考究，但从郑玄影响大、名气大、追随者众多而言，当是很象样的文化场所。
     其后，附近的居民点也被称为书院村（现青岛市崂山区惜福镇书院村），村北的小屯叫“演礼村”，是郑玄向追随者传授、表演礼议的地方。
     传说郑玄在康成书院讲学著述时，经常到书院附近的野地采集已一些草叶用于编竹简。这种草即麦冬草比较特别，叶子宽，也挺长，十分坚韧，而且四季常青，传说郑玄用这种编作草绳用以捆书，对郑玄的读书用书帮助很大。后来人们便把这种却叫做“康成书带”，又称“书带草”。相传崂山不其山一带因康成书院的讲学，“文墨涵濡，草木为之秀异”。
     后来，康成书院所在的不其山一带发生自然灾害，粮食极为缺乏，书院面临很大的困难。为减轻负担，郑玄离开了崂山，到了徐州。汗献帝建安五年（公元200年），郑玄被迫抱病随军征战，病故于元城（今河北省大名县东）。
     郑玄是中国古代影响很大的经学大师，他的学术成就被后学叫做“郑学”，他为后人留下很多有价值的著作。如有其注释的《诗经》、《国礼》、《仪礼》、《礼记》被后人重视。康成书院开创了村学之风，为青岛地区古代文化留下了宝贵的财富。