太尉最早始于秦国,是治军领兵的重臣。
到了北宋时期,实际上沿袭隋唐时期的习惯,三师(太师、太傅、太保)、三公(太尉、司徒、司空)为朝廷官职中相对最高的品级,但是它们都没有什么实际职事,一般只是作为加官。或者作为升迁资序所用,并没什么执掌的职力。
而其中的太尉,在一开始时是在太保之下,但是从五代以来则不断提升,直至仅次于太师而在太傅之上,也就是太师、太尉、太傅这样的新顺序。
宋徽宗年间,重定武官制度后,太尉成为武阶官之首,而司徒司空则取消被少师、少傅、少保代替。
因为宋朝的太尉是武阶官的最高位,所以在官场上,对于许多升到较高官阶,但实际并未获得太尉之职的官员,也会奉承为“太尉”。