相传古时人民在此凿石取煤，挖出了五个水势旺盛的泉眼，称为“漾泉”，后讹为阳泉。阳泉因此得名。今阳泉市境，秦属太原郡。西汉初置上艾县，县治在今平定县新城村，属并州太原郡。东汉，上艾县属冀州常山国。三国时，南北分属魏并州乐平郡、新兴郡。西晋沿用曹魏旧制。东晋十六国时，历属前赵、后赵、冉魏、前燕、前秦、后燕、北魏等国。北魏时南北分属并州乐平郡石艾县和肆州新兴郡定襄县。后全境属东魏和北齐。隋时于今娘子关置苇泽县，属井州，后废；于今盂县境置原仇县（后改称盂县），与石艾县同属辽州。
唐武德三年（620）于今盂县境置受州，贞观八年（634）受州废，石艾、盂县先后属并州、太原府；天宝元年（742），石艾更名广阳，徙县治于广阳村。大历元年（766）于今平定县境置承天军，宋废。五代历属后唐、后晋、后汉、北汉。北宋太平兴国四年（979），改广阳县为平定县，县治迁回平定上城，隶平定军；盂县属并州；之后，平定县、盂县同属河东路。金大定二年（1162）升平定州，兴定四年（1220）升盂县为盂州，属河东路、河东北路。元属冀宁路。
明洪武二年（1369），盂州降为县，与平定州同属太原府，清雍正二年（1724），平定为直隶州，增领盂县、寿阳县，属山西省。民国初为平定县和盂县，属山西冀宁道，后直辖山西省。抗日战争时期，平定分置平定（路北）县、平（定）东县和平（定）西县，盂县分置盂（县）平（山）县、盂（县）阳（曲）县、盂（县）寿（阳）县；正太铁路以南的平（定）东、平（定）西二县属晋冀鲁豫边区，以北各县属晋察冀边区。解放战争时期，平定、盂县逐渐恢复原建置。
清末，现今的市中心还是一片荒滩，旧称沙江口，为平定州辖地。自1903年石太铁路通车后，煤、铁、硫磺等工业随之兴起，至1936年才形成一个有三万余人的小集镇，属平定管辖。因镇在大、小阳泉村之间，故以村名镇。1947年5月4日，以原平定县的一部分设阳泉市，属晋察冀边区冀晋二专区。1948年改属晋冀鲁豫边区政府和晋察冀边区行政委员会共管，不久改由华北人民政府直辖。1949年由河北省石家庄市代管。同年改设阳泉工矿区，复归山西省，属榆次专区。
1951年阳泉工矿区改设阳泉市，由省直辖。同时设立第一区、第二区。1956年，第一区更名为站上区，第二区更名为荫营区。1957年，荫营区与站上区合并为郊区。1958年平定、盂县、昔阳3县并入阳泉市，划归晋中专署领导；同年撤销郊区。1961年平定县析出，阳泉市改由省直辖。1963年设立站上区、荫营区，1969年1月分别更名为城区、郊区。1970年1月设立矿区。1970年阳泉市划归晋中地区领导，1972年阳泉市改由省直辖。1983年7月，实行市管县体制，将晋中地区所辖平定县、盂县划归阳泉市。
