最终是在发配南方后病死了。
岳飞的第一个女人是刘氏，她也是岳云和岳雷的生母。刘氏与岳飞大约于徽宗政和八年结合，这是根据岳云的出生年月(宣和元年六月)推算出来的。可惜此女不能守节忍受艰苦，先后两次改嫁，
台湾方面的岳飞研究专家对此条记载持伪造的意见，理由是秦桧当权以后，尤其是岳飞身死之后，秦桧指使其子秦(火喜)大肆篡改原始档案，对岳飞进行攻击与污蔑。而且岳飞家谱中也根本没有记载过这个刘氏。
大陆方面则完全肯定此条记载的真实性，因为李心传在编写《要录》的时候，曾经亲自看过岳飞的上奏，事见《要录》卷8建炎元年乙亥注。既然亲见岳飞的上奏，这件事的真实性自然是不容置疑的。何况当其实人们普遍对妇女改嫁持宽容态度，秦桧犯不着在这些小节上污蔑岳飞。
第二个女人，吴玠破费两千缗(贯)买了一个士族女子送给岳飞。岳飞知道这事情后，没有见这位名姝，只是让她立在屏风后面，告诉她:我们家上上下下皆穿麻衣，吃的也只是咸菜粗粮，您要是能和我同甘共苦就留下吧，如若不然，还是请回吧。那个女子吃吃的笑了，岳飞就把她打发回去了。
第三个女人，八卦了两个与岳飞有缘无分的女人，接着要说的就是与岳飞“执子之手，与子携老”的李娃了。在岳飞去世后的三十五年中，流放日子中的李娃，从绍兴十一年到绍兴三十一年，二十一年间李娃率领岳飞的子女在岭南苦度日月。他们遭受的是对流放人最为严厉的编管刑，严格限制人身自由，需要没月到监管人处呈身。最终是在发配南方后病死了。
