百家姓中,潘姓是一个有着悠久历史的姓氏。史传商朝时,舜的后代在潘地建立潘子国,子孙以国为氏,因舜姓姚,故称姚姓潘国。至商朝末期,周武王灭商,将潘地封与其弟毕公高之季子季孙,他们也以潘地为姓,是为姬姓潘国。两姓潘国由于势弱国小,均不见于经传。据史料记载,春秋时楚国占领潘国,封为邑,子孙以潘为姓,即芈姓潘氏。楚国公子商臣之师潘崇为芈姓潘氏之始祖,今潘氏人群主要由芈姓潘氏组成。
除此之外,赐姓为潘、外姓改潘以及少数民族被汉族同化改为潘姓,也是潘姓由来的重要途径。
历史上潘姓并无大的变迁,先秦时期,潘姓最初活跃于陕西、河南、山西和湖北地区。唐朝以后,潘姓向甘肃、河北及山东等地发展。潘姓在南方的发展主要集中在中原两次南下移民福建之时。