河曲马最早的前身是藏马。藏马是一种对高原地形、气候等有着极强适应性的马种，乘、挽、驮均可。藏族史诗《格萨尔王传》中的《赛马称王》一节中，十二岁的少年格萨尔（乳名觉如）凭借赛马，一举夺魁，他成为了岭国国王，从此东征西讨，降妖除魔，成就了一番伟业。岭国之地，正是今天黄河上游的甘青川交界之地，河曲草原则是这一地带的重要区域，格萨尔的坐骑，正是古代的藏马。
后来，鲜卑族吐谷浑到来，对这一马种进行了改良，使得当时的青海湖地区，成为另外一种马——青海骢的天下。吐谷浑以藏马为母本，以从遥远的波斯引进的波斯马为父本，经由交配改良，形成了青海骢。
河曲马正是从藏马开始，继而为青海骢，最后才成为河曲马的。当青海骢移牧河曲草原时，远从河西出发攻打大理的忽必烈大军浩浩荡荡路过这里，当他们看到这里的骏马时，这个嗜马如命的民族，眼睛里闪烁着惊奇而喜悦的光彩。后来，他们中的一些人干脆专门留下来，在河曲草原设立马场，为前方的战场培养战马。河曲马，也为蒙古帝国建立了不世之功。
于是，这种名马又融进了蒙古马的血液，从而成为比前者更优秀的马种，它也历经藏族、吐谷浑族、蒙古族等不同民族的悉心培育，吸收众长，愈加奇绝。在河曲草原这样一个相对封闭的环境里，河曲马作为一个独立的马种出现了。基因多元、环境封闭，是河曲马相较于伊犁马和蒙古马的最大特点。