指南针并不是单个人发明的，而是中国古代劳动人民在长期的实践中对磁石磁性认识的结果。
有相关文献记载，相传公元前2700年中国的轩辕黄帝发明了指南针，黄帝用指南针，在大雾中辨别方向，打败了蚩尤。很多发明是在前人的基础上改造更加方便使用，不是某一个人的功劳，要归功于劳动人民在劳动中的智慧和创造。
指南针是我国古代著名的四大发明之一，它出现于战国时期，距今已有2000多年的历史。
最初的指南针是用天然磁石制成的，样子像一只勺，底部光滑，可以在平滑的铜质或木质的“地盘”上自由旋转，等它静止下来，勺柄就会指向南方。人们管它叫“司南”。
大约在北宋初期，我国古人又创制了一种新的指南工具——指南鱼。指南鱼用一块薄钢片做成，形状像鱼，鱼的肚皮部分凹下去一些，像小船一样浮在水面上。宋代还有用木头做的指南鱼和指南龟。木指南鱼是用木块刻成的，鱼腹里放入一块磁性强的天然磁石，用蜡封好，在鱼口插入一根针，此鱼就能指南了。指南龟的制法和原理与木指南鱼基本相同。
沈括在《梦溪笔谈》中记载：指南针指南“常微偏东，不全南也”。沈括第一次发现，磁针虽然朝着南方，但不是指的正南，而略有些偏东。这就是磁偏角现象，它的产生是由于地球的磁极与地理的南北极不重合，略有些偏差。这一发现在当时是件了不起的大事。在西方，直到公元1492年哥伦布横渡大西洋时，才发现有磁偏角存在，比我国沈括晚了400多年。
据史料记载，东汉的张衡发明过指南车。指南车上装有非常复杂巧妙的机械。它的中央是一个大平轮，木头人就竖立在上面，在大平轮的两旁，还装有很多小齿轮，如果车子向左转，右边的车轮就会带动小齿轮，小齿轮再带动大平轮，使大平轮相反地向右转。于是，木头人的手臂始终指向南方。
