西周时,“桐叶封弟”的典故就发生在这里,周成王封其弟叔虞于唐,建立古唐国。
叔虞的儿子燮父因境内有晋水,就把唐改称晋,这就是春秋时期称霸一方的晋国,这也是山西的简称晋的来源。山西晋西南因在黄河东岸,故又称之为河东,秦、汉时期设河东郡,唐置河北道晋州,宋、元、明、清为山西平阳府,民国初属山西省河东道,新中国成立后设立“山西省晋南专区”。上世纪七十年代初“山西省晋南专区”分设山西省临汾地区和山西省运城地区,所辖山西石楼县划归山西吕梁地区。在山西民间习惯上将韩信岭以南的临汾和运城称之为“山西晋南”。
晋南专区是1949年2月成立的,属陕甘宁边区政府,同年9月1日改属山西省。1950年1月6日,临汾专区成立,1954年同运城专区合并为晋南专区(驻临汾),辖29县。1970年专区改地区,晋南专区又按原建制划分为临汾、运城两地区。1978年设临汾地区行政公署,辖临汾、侯马2市和16县。1983年临汾县和临汾市合并为临汾市。2000年11月1日撤地设市,成立地级临汾市。