裕固族的祖先可以追溯到公元前3世纪的丁零和4世纪的铁勒，以及生活在色蕨格河和鄂尔浑河流域的回河。回合是东部铁勒(又称狄历、智勒、高车)的六大部分之一。后来，在反抗东突厥汗国的斗争中，东部铁勒形成了以回族为核心的部落联盟，被称为“九姓铁勒”或“九姓”。8世纪中叶，回族在乌德勒山(今杭爱山支部)和温昆河(今鄂尔浑河)击败突厥，建立了回族汗国。9世纪中叶，回河汗国被狡猾的戛斯打破，回河各部迁徙。其中一个去了河西的轮廓，与一些早期迁来的回河汇合，在这里生活繁殖，成为今天的裕固族。裕固族自称“尧乎尔”，一般认为这个名字与历史上的“黄头回河”和“撒里胆怯”密切相关。宋初出现在塔里木盆地东南部的回族分支“黄头回河”。元初，在黄头回河居住的地区，又出现了“撒里畏兀”的族名。现在公认元朝的撒里胆怯是宋朝的黄头回河。
元朝蒙古人征服撒里胆怯后，在其地设立了政府统治。元朝崩溃，河西走廊由明朝管辖。明朝非常重视边境的稳定，仍然任命元朝的降将守卫边境。封撒里畏吾地区的元将卜烟帖木尔是安定王，在撒里畏吾地区设立了军事行政单位:安定、阿端、曲先三卫，敦煌东南部罕东卫，合称“远四卫”为西宁卫。
15世纪中叶，各卫之间不断发生战争，尤其是吐鲁番日益强大后，各卫频繁入侵，关外各卫相继崩溃，要求迁往关内。
16世纪初，撒里开始向东移动。入关后，裕固族也被称为“黄番”。清朝康熙时期，分为七个家庭，即大头目家、杨哥家、五格家、八格家、罗尔家、亚拉格家和何郎格家。大头目被授予“七族黄番总管”黄夹克和红顶蓝羽帽。
民国时期，被称为黄番的裕固族分为两个民族。一个家庭叫黄黄番，也就是说，今天有些人说阿尔泰语是蒙古语；另一个家庭叫黑黄番，也就是说，今天有些人说阿尔泰语是突厥语。甘肃省酒泉专署于1953年主持了“祁连山北麓各族各界人士座谈会”经过充分讨论，大家同意将“裕固”这个词定名为与自称“尧乎尔”音相似的民族名称，并取汉语“富巩(坚)固”之意。