元光六年（公元前129年），匈奴又一次兴兵南下，前锋直指上谷（今河北省怀来县）。汉武帝果断地任命卫青为车骑将军，迎击匈奴。

这次用兵，汉武帝分派四路出击。车骑将军卫青直出上谷，骑将军公孙敖从代郡（治代县，今山西大同、河北蔚县一带）出兵，轻车将军公孙贺从云中（今内蒙古托克托东北）出兵，骁骑将军李广从雁门出兵。

四路将领各率一万骑兵。卫青首次出征，但他英勇善战，直捣龙城（匈奴祭扫天地祖先的地方），斩首 700人，取得胜利。

真悲剧啊。。。

另外三路，两路失败，一路无功而还。汉武帝看到只有卫青胜利凯旋，非常赏识，加封关内侯。

公元前128年（元朔元年）的秋天，匈奴骑兵大举南下，先攻破辽西，杀死辽西太守，又打败渔阳守将韩安国，劫掠百姓两千多人。

汉武帝派李广镇守右北平（今辽宁省凌源西南），匈奴兵则避开李广，而从雁门关入塞，进攻汉朝北部边郡。

汉武帝又派卫青出征，并派李息从代郡出兵，从背后袭击匈奴。卫青率三万骑兵，长驱而进，赶往前线。卫青本人身先士卒，将士们更是奋勇争先。斩杀、俘获敌人数千名，匈奴大败而逃。

公元前127年（元朔二年），匈奴集结大量兵力，进攻上谷、渔阳。武帝派卫青率大军进攻久为匈奴盘踞的河南地（黄河河套地区）。

然后，卫青又率精骑，飞兵南下，进到陇县西，形成了对白羊王、楼烦王的包围。匈奴白羊王、楼烦王见势不妙，仓惶率兵逃走。汉军活捉敌兵数千人，夺取牲畜一百多万头，完全控制了河套地区。

因为这一带水草肥美，形势险要，汉武帝在此修筑朔方城（今内蒙古杭锦旗西北），设置朔方郡、五原郡，从内地迁徙十万人到那里定居，还修复了秦时蒙恬所筑的边塞和沿河的防御工事。

这样，不但解除了匈奴骑兵对长安的直接威胁，也建立起了进一步反击匈奴的前方基地。《史记》《汉书》盛赞此仗汉军“全甲兵而还”，卫青立有大功，被封为长平侯，食邑3800户。

匈奴不甘心在河南地的失败，一心想把朔方重新夺回去，所以在几年内多次出兵，但都被汉军挡了回去。公元前124年（元朔五年）春，汉武帝命卫青率三万骑兵从高阙出发；苏建、李沮、公孙贺、李蔡都受卫青的节制，率兵从朔方出发；李息、张次公率兵由右北平出发。