岳飛戎馬一生，并沒有多少時(shí)間閑下來談情說愛。歷史上有關(guān)岳飛女人的記載并不多，有憑有據(jù)的，只有三個(gè)女人。

第一個(gè)女人是劉氏，她也是岳云和岳雷的生母。劉氏與岳飛大約于徽宗政和八年結(jié)合，這是根據(jù)岳云的出生年月（宣和元年六月）推算出來的。可惜此女不能守節(jié)忍受艱苦，先后兩次改嫁。

《會(huì)編》卷二百七是這樣描述的：岳飛執(zhí)掌兵權(quán)之日，遣使王忠臣前往楚州韓世忠處送信，王忠臣得到回信準(zhǔn)備返回。這時(shí)，韓世忠囑咐王忠臣回去告訴岳飛，他的結(jié)發(fā)妻子嫁給自己手下的一個(gè)押隊(duì)，叫他快點(diǎn)來接結(jié)發(fā)妻子回家。岳飛聽到王忠臣的密報(bào)后，不作回答。結(jié)果被韓世忠這個(gè)大嘴捅到了皇上那里，岳飛迫不得已上奏說：“當(dāng)初渡河的時(shí)候，把妻子留在家中侍奉老母，沒料想這廝竟然改嫁兩次，我真是切骨恨之呀。已經(jīng)派人給她送了五百貫（兩三貫已夠一個(gè)三口之家生活一個(gè)月），來幫助她家用，恐怕天下不知道這件事情的原委，（以免有拋棄妻子的謗言流傳）。”

第二個(gè)女人只是一段風(fēng)流韻事的傳奇，事見《金佗稡編》卷9《遺事》。

岳飛家里向來沒有姬妾侍奉，有一天黃縱（這家伙相當(dāng)于岳飛的機(jī)要秘書）出門干公務(wù)，聽說岳飛納士族之女為妾的傳聞。黃縱回來以后趕緊詢問岳飛，岳飛說：是有這么回事，四川的吳玠（另一中興名將）派人來我這里議論軍事上的事情。我請(qǐng)他吃飯，他詫異于飯桌上的冷落（也就是沒有歌伎之類助興了，宋時(shí)豪門宴會(huì)，酒菜并不放桌上，而是一伎捧著一個(gè)盤子，輪流上來敬客。），回去就告訴了吳宣撫。

于是吳玠以為是岳飛眼光太高，就破費(fèi)兩千緡（貫）買了一個(gè)士族女子送給岳飛。岳飛也絕，他知道這事情后，沒有見這位名姝，只是讓她立在屏風(fēng)后面，告訴她：我們家上上下下皆穿麻衣，吃的也只是咸菜粗糧，您要是能和我同甘共苦就留下吧，如若不然，還是請(qǐng)回吧。那個(gè)女子吃吃的笑了，岳飛就把她打發(fā)回去了。

岳飛的第三個(gè)女人便是與他“執(zhí)子之手，與子攜老”的李娃。

據(jù)王曾瑜先生考證：李娃在建炎四年居宜興，生岳霖，則應(yīng)在建炎二三年間嫁岳飛。她比岳飛年長(zhǎng)兩歲，嫁時(shí)已有二十八九歲。李娃是個(gè)非凡的女人，岳飛不在軍中，李娃聽說岳飛的某個(gè)部下打算謀叛，一聲不吭。直到布置妥當(dāng)才齊集諸將，當(dāng)眾宣布了調(diào)查結(jié)果，將毫無防范的叛將捉住斬首。

不過，岳飛對(duì)李娃嚴(yán)加限制，只許她“撫其妻、子，以恩結(jié)之，得其歡心”了。從紹興十一年到紹興三十一年，二十一年間李娃率領(lǐng)岳飛的子女在嶺南苦度日月。他們?cè)馐艿氖菍?duì)流放人最為嚴(yán)厲的編管刑，嚴(yán)格限制人身自由，需要每月到監(jiān)管人處呈身。在這樣的境遇中，李娃都能夠“居患難不改幽閑之操”，令世人敬仰佩服。