卫青率军与匈奴作战,屡立战功,所得封邑总共有一万六千三百户。虽然战功显赫,权倾朝野,但从不结党干预政事。更不养士,苏建曾经劝告卫青养士以得到好名声,卫青认为养士会让天子忌讳,而且作为臣子只需要奉法遵职就可以了,何必去养士呢?而骠骑将军霍去病也跟舅舅卫青抱有同一种看法。
《史记·卫将军骠骑将军列传》:太史公曰:苏建语余曰:“吾尝责大将军至尊重,而天下之贤大夫毋称焉,原将军观古名将所招选择贤者,勉之哉。大将军谢曰:“自魏其、武安之厚宾客,天子常切齿。彼亲附士大夫,招贤绌不肖者,人主之柄也。人臣奉法遵职而已,何与招士。”骠骑亦放此意,其为将如此。
元封五年(公元前106年),大司马大将军卫青去世,谥号为“烈”(有功安民曰烈,秉德尊业曰烈)。汉武帝命人在自己的茂陵东边为卫青修建了一座象庐山(匈奴境内的一座山)的坟墓,以象征卫青一生的赫赫战功。平阳公主死后,与卫青合葬,汉时夫妻合葬不同穴,时至今日,茂陵仍能见卫青墓与平阳墓。