瑶族历史悠久，文化灿烂。至于瑶族的来源，学术界大多数人认为瑶族起源于“长沙、武陵蛮”或“五溪蛮”。原居住地在长沙、武陵，即湖南湘江、资江、元江流域、洞庭湖沿岸。瑶族祖先在古代被称为“尤人”，“尤人”是他们的自称，也是今天瑶族的自称。
九黎、三苗后的“尤”。九里和三苗最初活动在中国江南地区。由于人口的不断繁殖，他们向北寻找生活基地，进入黄河中下游地区，接触东进黄帝和炎帝部落，发生战争。九里和三苗被打败，被迫向南迁徙。秦汉时期，瑶族祖先逐渐形成了以长沙、武陵或五溪为中心的活动区。魏晋南北朝时期，部分瑶族先民北迁，进入河南、安徽活动，但主要居住地仍在湖北、湖南、江西部分地区。隋唐时期，中央王朝对少数民族实行了“以夷治夷”的羁绊政策，促进了瑶族祖先原始社会的分化和瓦解，开始了血缘关系向地缘关系的转变。当时，居住在湖南西南部和广东北部山区的瑶族祖先被称为“莫兵”。
宋代，宋朝不断完善瑶族统治，使瑶族先民进一步分化发展，逐步形成单一民族。元明时期，瑶族被迫继续南迁，深入广西腹地。特别是明代，两广已成为瑶族的主要分布区。明末清初，一些瑶族从广东和广西迁往贵州和云南的南部山区。少数瑶族转移到越南、老挝、缅甸、泰国等东南亚国家，形成了“岭南没有山，没有瑶族”的分布格局。
自唐末宋初瑶族成为一个单一的人民共同体以来，由于迁徙频繁、生活分散、经济发展特殊，瑶族名称也复杂多变。瑶族名字可以分为自称和他自称，自称有90多种，其中自称“绵”、“门”、“敏”最多，约占瑶族总人口的65%以上。他说有400多种，主要与瑶族崇拜、政治、经济、住宅、服装、姓氏等密切相关。
例如，盘古瑶、盘古瑶、盘王、密洛陀布努瑶、安宁瑶、太平瑶、当地瑶、外瑶等反映政治内容；山子瑶、过山瑶、靛蓝瑶、木皮瑶、石灰瑶等反映了其经济生活。