公之学以刚为主，其在朝，气象岩岩，端方特立，诸臣僚多疾恶之，无与立谈。——屈大均
《海瑞年谱》记载，公元1514年1月22日，海瑞出生在琼山县，也就是如今海南省境内，当时的海南又叫琼崖，海南对于中原王朝就相当于澳大利亚对于大不列颠，自古便是流放罪犯的场所，是仅次于夷三族的罪行，甚至比独自斩首还要恶劣一些。
但并不是说海南出生的人就一定穷，比如著名北宋奸臣丁谓便是流放崖州后还能在当地呼风唤雨的人物，更何况是海瑞这样举族迁移过来的，海瑞的推崇者只会告诉你海瑞父亲海翰在海瑞四岁那年早亡，但是不会告诉你的是海瑞父辈五人除了海瑞父亲以外，叔伯四人全是举人，伯父海澄更是四川道监察御史，就算如此海翰也是一个廪生。
所以海瑞就算是没了父亲也绝对算不上穷困，史书记载海翰死后，海瑞家中还有几十亩田，之所以记载勉强能维持生活也仅仅是因为没有劳动力而已，海瑞自己也不能下地耕地，一是因为年龄还小，二是《孟子》有云：君子不耕而食，《论语》有云：君子谋道不谋食耕也，这两句话在程朱理学时期被曲解，被直译为君子不应该下地干活。
因此海瑞的前半生完全可以总结为‘穷的活该’，然而海瑞莫非不能为一口饭吃放下身段？恰恰不能，这还得从海瑞的母亲谢氏说起，海家在琼山县也是有名的望族，谢氏本来以为嫁给海翰是嫁给了未来，没想到兄弟五人唯独海翰没考上举人，《海瑞年谱》记载过海瑞的母亲谢氏为人刚强，对海瑞极其严格，自然是不可能同意海瑞下地干活。
公元1549年，海瑞通过乡试，同年，中举人，因此谢氏的权威在海家更加壮大，毕竟外人眼里海瑞的成功都是拜谢氏的所赐，而海瑞也从小在母亲的高压下成长，只要是母亲所说的便不敢反驳，如同海翰当初迎娶谢氏一般，海瑞虽然过得很贫寒，但毕竟是琼山大族，谢氏为海瑞寻来了原配徐氏。
《孟子离娄上》中记载：不孝有三，无后为大。舜不告而娶，为无后也。君子以为犹告也。海瑞这人从小深受王阳明‘姚江学派’的影响，自幼信奉的便是‘为天地立心，为生民立命，为往圣继绝学。’整个人都扑在为官做人上，对妻室并不是很看重，和徐氏待在一起的时间也少，因此徐氏嫁给海瑞十余载都没有儿子，只有两个女儿。
自古‘重男轻女’，谢氏对这样生不出孙子的儿媳自然厌倦，在谢氏的要求下，海瑞虽然不满，但拗不过母亲的想法，在谢氏以死相逼下只能将徐氏休弃，然而没过多久谢氏就找来了一个看上去温柔乖巧的女人，逼着海瑞娶了第二任妻子潘氏。
但潘氏和徐氏不同，虽然潘氏嫁给海瑞两年没有后代引起了谢氏的不满，两人矛盾愈加深重，整日互相指责对方将海府闹得天翻地覆，因此谢氏第二次逼迫海瑞休了潘氏，海瑞本来就和潘氏没有什么感情，再加上对母亲盲目的服从，休了自己的第二任妻子潘氏。
谢氏在将潘氏赶出府后并没有闲着，转头便找到了当地的媒婆为海瑞寻找第三任妻子，吸取了上一次的教训，媒婆每一个挑选的女子谢氏都要亲自考察，宛如皇帝选妃，几个月后海瑞等来了他的第三任妻子王氏，和前两位不同，王氏一来便给海瑞带来了两个子嗣海中砥、海中亮，因此夫妻二人也算和睦，一副家庭美满的模样。
好景不长，仅仅五年后，公元1566年，54岁的海瑞因为《治安疏》劝阻嘉靖帝放弃修仙被罢官入狱，海瑞的人生一下跌落到了谷底，同年，海瑞的两个儿子在海瑞被关在诏狱时相继死去，王氏受不了痛失二子和丈夫被抓的打击，也因病去世了。
然而不等海瑞伤心，次年，海瑞刚刚被赦免，谢氏便为了延续香火立刻开始为海瑞的婚事做准备，要知道海瑞此时已经54岁了，根本没有良家女子愿意嫁给他，因此谢氏不知道从哪弄来一个年轻貌美的女子韩氏，不过谢氏看不起这个韩氏的出身，只是逼着海瑞纳了她为妾，在母亲的逼迫下，前妻尸骨未寒之际海瑞便纳了一个足以当孙女的小妾。
可能韩氏本来以为自己只是嫁给一个有权有势的官员当小妾，在成婚后，韩氏发现海瑞竟然是一个54岁的老头，不堪受辱的情况下，韩氏在家中上吊自尽，后来给事中戴凤翔弹劾海瑞沽名乱政时，韩氏便被当成罪证呈上去过，不过这一次谢氏觉得韩氏的自尽是家门不幸，郁郁寡欢不久后也因病去世了。
此后海瑞便一直一个人过着，直到海瑞古稀之年时，为了找一个人照顾自己，海瑞便纳了贴身丫鬟邱氏为妾，不久后邱氏为海瑞生下一子，可惜这个孩子也没能安然长大，三年后，公元1587年，海瑞第三子早夭，承受不了打击的海瑞因病去世，享年73岁。
海瑞作为历史中著名的清官，既不像宋代程颢这样沽名钓誉，也不像西汉匡衡那样宽与律己，严已待人。于民而言，海瑞是难得的好官，然而对于海瑞的三妻二妾而言，海瑞又何尝不是一位恶人？徐氏是海瑞发妻，两人相互扶持数十载，谢氏一席话就能逼着海瑞休弃发妻，《明史》记载，海瑞在上《治安疏》时，为自己准备棺材、与妻子诀别，在海瑞准备这两件事时可曾想过自己五岁的儿子和王氏？纳韩氏时，有曾想过韩氏的来历？此乃愚孝典范。
,
