有文字记载的高山族历史,最早可追溯到三国时期。当时称台湾为“夷洲”,称当地居民为“夷洲人”或“山夷”。根据沈莹《临海水土志》的记载,夷洲人以采集、狩猎业为主,生产工具大量使用磨制石器,尚处于原始社会新石器时代发展阶段。
宋元时期,高山族先民被称为“留求人”或“毗舍耶人”。“留求”为隋代“流求”的同音异写,有时又写成“琉球”、“琉求”或“留仇”等。宋代以后,台湾与大陆的关系日益密切。12世纪初,南宋在澎湖建造军营。13世纪末,元朝曾派人到达台湾,并在澎湖设立巡检司,管辖台湾、澎湖等岛屿。
明代,文献称台湾为“东番”,称台湾居民为“东番夷”。万历二十年(1592),明朝曾派兵戍守澎湖、台湾。
清代文献称高山族为“番族”,并按汉化程度不同分为“生番”和“熟番”。“熟番”又称“平埔番”,即今天的平埔人,他们受汉文化影响很大。