建安二十一年（216年），曹操晋魏王，势及一时，都邺城，他的声名传到了北方，匈奴人都很仰慕他，于是呼厨泉来邺城拜贺曹操。曹操为了削弱势力，将呼厨泉留在了邺城，用上宾之礼对待他，让他的右贤王回去帮他管理南匈奴各部，曹操将南匈奴分为5部，每部选尊贵者为帅，别令汉人为司马，以监督之。令左部居太原故兹氏县（今山西省汾阳东南）、右部居祁县（今山西省祁县东南）、南部居蒲子县（今山西省隰县）、北部居新兴县（今山西省忻县）、中部居大陵县（今山西省文水县东北）。匈奴部落组织虽然名义上虽还被继续保存着，但权力却已全部落入曹魏政权的手中，单于只是徒有虚名的称号，南匈奴国家政权亡。