裕固族的祖先可以追溯到公元前3世纪的丁零、4世纪的铁勒和居住在色椤格河和鄂尔浑河流域的回纥。回纥是东部铁勒(亦称狄历、敕勒、高车)的六大部之一。后来东部铁勒在反抗东突厥汗国的斗争中，形成了以回纥为核心的部落联盟，被称为“九姓铁勒”或简称“九姓”。8世纪中叶，回纥击败突厥在乌德勒山(今杭爱山支系)、温昆河(今鄂尔浑河)建立回纥汗国。9世纪中叶，回纥汗国为黠戛斯所破，回纥各部四处迁徙，其中一支投奔河西走廓，与早先迁来的部分回纥汇合，在这里生息繁衍，成为当今之裕固族。裕固族自称“尧乎尔”，一般认为这一名称与历史上的“黄头回纥”和“撒里畏兀”有密切关系。“黄头回纥”是宋朝初期出现于塔里木盆地东南部的回纥分支。元初，在黄头回纥居住的地区，又出现“撒里畏兀”的族名。现在公认，元朝的撒里畏兀就是宋朝的黄头回纥。

元朝蒙古人征服撒里畏兀后，在其地设立官府，进行统治。元朝崩溃，河西走廊又归明朝管辖。明朝十分重视边境的稳定，仍然任用元朝的降将镇守边疆。封撒里畏吾地区的元将卜烟帖木尔为安定王，并在撒里畏吾地区设置具有军事性质的行政单位：安定、阿端、曲先三卫，加上敦煌东南部的罕东卫，合称“远番四卫”统归西宁卫管辖。

十五世纪中叶，各卫之间不断发生战争，特别是吐鲁番日益强大以后，频繁侵扰各卫，关外各卫相继崩溃，纷纷要求向关内迁徙。

十六世纪初，撒里畏吾人开始东迁。入关以后，裕固族又被称为“黄番”。清朝康熙年间，被划分为七族，即：大头目家、杨哥家、五格家、八格家、罗儿家、亚拉格家、贺郎格家。大头目被封为“七族黄番总管”赐以黄马褂和红顶蓝翎子帽。

民国时期，被称为黄番的裕固族又分为两族，一族称黄黄番，即今日说属于阿尔泰语系蒙古语族语言的一部分人;另一族称黑黄番，即今日说属于阿尔泰语系突厥语族语言的一部分人。1953年甘肃省酒泉专署主持召开了“祁连山北麓各族各界人士座谈会”，会议统一了裕固族的民族名称。大家充分讨论后同意定名为与自称“尧乎尔”音相近的“裕固”二字作为族名，兼取汉语“富裕巩(坚)固”之意。