海瑞的第一位夫人许氏，为海瑞生有两个儿女。嘉靖二十五年，即1546年，海瑞三十四岁的时候，这位许夫人就被海瑞休弃了。在那个时代，一个女人被休弃是莫大的羞耻，何况这时候已经育有两个女儿，让一个女人离开自己生养的儿女必然也是莫大的痛苦。而且，似乎许夫人还在经济上吃了亏，为此，她还告过海瑞。
许夫人到底是什么原因被休，犯了“七出”中的哪一条?从“以大故所出妇许氏”的提法来看，许夫人似乎有过什么大差错，但是所谓的“大故”到底是什么呢?也许是没有生男孩。海家三代单传，如若无后，如何面对列祖列宗?这是比较靠谱的理由。是否如此已经无从查考。不过许夫人年纪尚轻，生育问题似乎不成理由。
另一种原因，也是许多人曾经猜测的，可能是她与海瑞的母亲海太夫人之间的婆媳矛盾有关。这样的事，在著名的汉代长诗《孔雀东南飞》里有过详细的描述，在单亲家庭中是一种比较常见的现象。问题在于，许夫人如同不幸的刘兰芝，海瑞是不是也有焦仲卿那样的感情?历史材料显示，海瑞虽然不是焦仲卿，但他是个著名的孝子，他永远是无条件地站在母亲这一边的，这就决定了海家的媳妇处于难当难堪的位置。
海瑞和许夫人离异之后，又娶了潘氏夫人。但是，潘夫人到海家之后不到一个月又被休弃，休弃的理由不得而知。
接着海瑞又娶了王氏夫人。王夫人比较争气，在海瑞到达淳安之前两年为海瑞生了个儿子，取名中砥。海瑞到淳安任上之后的当年，王夫人又为海瑞生了个儿子，取名中亮。王夫人还生了个女儿。
嘉靖四十三年，即公元1564十月，海瑞被调到京都户部任职，海太夫人不喜欢到寒冷的北方去生活，海瑞没有办法，只好让王夫人携同二男三女扶侍海太夫人从海瑞在江西兴国县令的任上南归，而海瑞则带了两个仆人北上任职，这一年海瑞五十二岁了。
嘉靖四十四年，即公元1565年十月海瑞上了震惊朝野的尖锐批评嘉靖的“直言天下第一事疏”，即《治安疏》而在次年二月下狱，两个儿子就在这一年相继死去，一个十一岁，一个九岁，而海瑞此时已经五十四岁了。
三年之后，也就是隆庆二年，即1568年七月二十四日晚上，王夫人突然病世，但也有人说是自杀身亡的。《万历十五年》中说王夫人“在极为可疑的情况下死去。”在王夫人去世前十一天，海瑞的小妾韩氏上吊自杀。这两件事联系起来，使海瑞的家庭生活变得十分扑朔迷离。韩氏为何自杀?王夫人到底因何而死?这些事虽然已经成了历史之谜。
