胡人原指戈壁以北的蒙古高原地区的游牧族群。“胡（hun)”是北亚民族语言中“人”的意思。秦汉时期塞北胡人统一后被汉人称为匈奴，匈奴则自称为胡。后来胡人一词则被用来作为戈壁以北和西方的外族或外国人的泛称。
一种观点认为，“胡”作野蛮、落后之意，是汉人对北方游牧民族的蔑称。自先秦以来，中原汉族地区的农耕文明总是领先于北方游牧民族，汉人有一种优越感，瞧不起周边的少数民族，如江统在《徙戎论》中说“非我族类，其心必异，戎狄志态，不与华同”（《晋书》）;加之北方游牧民族频频袭扰中原地区，让中原王朝穷于应付，让汉人觉得这些游牧民族简直是“胡作非为”“胡来”“胡搅蛮缠”，久而久之便十分讨厌反感这些胡来的人，并称其为“胡人”。
另一种说法认为是北方民族的自称。依据是《汉书·匈奴传》——单于遣使遗汉书云：“南有大汉，北有强胡。胡者，天之骄子也，不为小礼以自烦。”在这里，匈奴把自己称为“胡”，并自比为天子。另一依据是十六国时期羌族首领姚苌举兵反前秦，最后俘获前秦皇帝苻坚，姚苌向苻坚索要传国玉玺，苻坚怒斥姚苌，曰“小羌敢逼天子，五胡次序，无汝羌名”（《资治通鉴》）。苻坚是氐人，他亦自称“胡”。中原汉人极有可能是根据北方民族的自称而称其为“胡”的，只不过后来“胡”的称谓逐渐扩大了使用范围，演变成对北方和西方民族的泛称。
还有一种观点，认为“胡”作胡子之意，“胡人”就是长大胡子的人。汉人喜欢以貌取人，或许是看那些游牧民族都长着长胡子，所以干脆叫他们“胡人”吧。那么，问题是历史上的游牧民族真的都长看大胡子吗？秦汉时期的匈奴人长什么样子，史书没有描述，不过现存的汉朝骠骑将军霍去病墓前的“马踏匈奴”石像，那个被马踩在脚下的匈奴武士却是个大胡子。
五胡乱华时期的羯人，就具有深目、高鼻、多须的特点。关于羯人，《魏书》卷九五《羯胡石勒传》云：“其先匈奴别部，分散居于上党、武乡、羯室，因号羯胡”。现经考证，认为羯人是中亚康居人，属于白种人，与匈奴不是一个民族，而是被匈奴作为战俘带入中原地区的。其次，即使不是长着络腮胡子，北方和西方的民族男子还有蓄胡的习惯，胡子拉碴的给人印象就是个大胡子，称为“胡人”也就可以理解了。
