海瑞一生娶过三个老婆,纳过两个妾, 分别是妻子许氏、藩氏和王氏,以及小妾韩氏、邱氏。
第一个老婆是海瑞的结发妻子许氏,为海瑞生了两个女儿,因为和海母不合而被海瑞休了。第二个老婆进门不到一个月,又因为相同的原因被赶出家门。
第三个妻子王氏进门之后为海瑞生了两个儿子和一个女儿,长子名中砥11岁时、次子名中亮9岁时均不幸殇逝。王氏虽然没有被海瑞休妻,但是却也在盛年十分可疑地暴死。而此前,他的小妾韩氏也自杀身亡。
海瑞晚年又得一子,是小妾邱氏所生,不幸3岁而殇。从弟海玥的第二个男孩叫中适,论序继海瑞为子。
海瑞的孩子为何早夭,后世不知,不过后世流传有他逼死5岁女儿的故事。小女儿在饥饿之时,接受了一个男仆人给的一块饼,恰巧被海瑞看见, 他破口骂道:“一个好女子怎能随便地接受男人的东西呢?只有你饿死了,才是我海瑞的女儿!”在此番羞辱之下,小女儿竟然铁下心绝食七天,直至死去。