色目人是元代对西域人的统称。“色目”一词，唐代已流行，有“种类”、“诸色名目”等义。有时也把“姓氏稀僻”的人称为“色目人”，即指一般姓氏以外的各类人。元朝的统治者是蒙古人，他们熟悉的、经常接触的是汉人（包括女真人和契丹人），而把汉人以外的，主要是把在他们西方的各民族称为色目人，有时也称为“西域人”。 

　　在种类繁多、名目不一的色目人中，以回回人为最多，因而有时也用回回人代称色目人。回回人外，还有汪古人（今内蒙古大青山一带），西夏人（又称河西人，今宁夏、甘肃一带），畏兀儿人（即今维吾尔先民，当时主要在新疆东部），哈剌鲁人（中亚巴尔喀什湖南一带），康巴人（中亚咸海以北一带），钦察人（中亚黑海以北一带）、阿速人（西亚高加）、阿儿浑人（中亚七河流域至楚河流域一带）等。当时的欧洲人（称发郎或指郎人）当然也算色目人。元末的陶宗仪说色目人有三十一种，这数目并不精确，不过可以想见，色目人确实种类繁多，不胜枚举。