，他一生却先后娶了五个老婆，有三个妻子两个小妾。不过，他对待家人的态度十分的不好。在海瑞的三个妻子中，第一个和第二个妻子最后都被海瑞休了。到海瑞晚年的时候最后一个妻子和一个小妾也因他而死，前后只隔了11天的时间。
海瑞的最后一任妻子叫王氏，她给海瑞生了两个儿子一个女儿，死于隆庆二年。在王氏去世的11天之前，海瑞的另一名叫韩氏的小妾也自杀了。那么，海瑞的这两个老婆是怎么死的呢？海瑞对外的说法是因病去世的，但是当时的人们都不相信。后世的史学家有许多人认为，这两人的死因极有可能是被海瑞逼死的。
根据史学家的猜测，海瑞的两位夫人有可能是收别人礼物的事情败露之后，在海瑞的逼迫下自杀的。因为海瑞是一个清官，他对自己和自己的家人要求的都很严格，肯定不允许家人背着自己收礼物的。而且，在之前海瑞就曾经因为这种事逼死过自己的女儿。
在明代笔记《见只编》中，记载着这么一个故事。海瑞因为为官清廉，所以家里的生活十分贫困。有一天海瑞看到自己的女儿在吃麦饼，就问女儿这个饼子是从哪里来的。海瑞的这个女儿当时只有5岁，回答父亲说：这是家中的一个仆人给的。海瑞听了以后大怒，狠狠的把女儿训斥了一顿。也许是海瑞训斥的太凶了，这小姑娘几天不吃不喝被逼死了。
