海瑞共两次罢官。
第一次罢官。浙江总督胡宗宪的儿子路过海瑞的淳安县，仗着他爹的势力飞扬跋扈，吊打了 “驿吏”。海瑞立刻派差役赶到驿馆，把恶少连同手下统统抓到大堂，不但没收了他们带的银子，还把打人者一顿杖击，恶少苦苦哀求才免受皮肉之苦，最后带着人灰溜溜地离开了淳安。由此得罪了胡宗宪。
不久，刚正不阿的海瑞又得罪了京城的一位御史，这位御史与胡宗宪同为严嵩党羽，于是几个吃过海瑞亏的官吏就联合奏了海瑞一本，再加上严家父子煽风点火，海瑞最后被罢官回家。
天道轮回，不久，严嵩父子由于作恶太多，积怨甚深，最后失势，全家被斩。那些严嵩的随从党羽也是树倒猢狲散，海瑞终于恢复了官职，后又被选拔为户部云南司主事，赴北京任职。
第二次罢官。明世宗年事当时已高，更加昏庸，整日不理朝政和一帮道士混在一起，炼丹修道想长生不老。虽然严嵩已倒，党羽也散，可是由于皇帝不理朝政，官场风气如旧，拉帮结派，贪污腐败等有增无减。一些正直的官员也只能高高挂起，不敢谏言。海瑞进京后，看到这种现像，自然气不过，虽然他官职不大，但刚正不阿的海瑞看不惯这些，于是就写了奏章，指出弊端，把目前的腐败与黑暗统统揭露了出来，还把世宗比做纣王。不过海瑞也知道忠言逆耳，自己冒犯皇帝，可能会丢了性命，于是索性买了口棺材在家中，静等发落。
果然明世宗看了奏章大怒，自己的天下与官员怎么会像海瑞说的那么不堪，自己怎么成了纣王。于是他马上下令将海瑞革职查办，关入大牢，这海瑞罢官没多久，又遭罢官，不但官丢了，还入了大牢。
直到明世宗驾崩，新帝继位，才赦免了以海瑞为代表的所有谏言诸臣。海瑞被释放出狱，官复原职，不久改在兵部任职。后来调大理寺任职。最后官至为南京右都御史，相当于检察长。
海瑞一生由于刚正不阿，两次被罢官，后来又多次被排挤，但他清廉直正的性格一直未变。不愧一代清官的典范。所以当海瑞因病去世之后，南京的百姓罢市三日。海瑞的灵枢用船运回家乡时，穿着白衣戴着白帽的百姓站满了两岸，祭奠哭拜的人百里不绝。后来朝廷追赠海瑞太子太保，谥号忠介。
