岳飞的第一位夫人在他从军后，耐不住寂寞，与其他人有染，最后改嫁。第二位夫人则是在岳飞入狱后，流放到岭南之地。岳云则是和岳飞一起入狱，最后被斩首。另外四个儿子在被流放时，其中一位不幸死在路上，只有三位活着到了岭南之地。长女岳安娘在出事前便已经出嫁，后事不详。次女岳银瓶则是投井而死。
岳飞这一生中只有两位夫人，第一任妻子刘氏，是岳飞还没有从军的时候娶的，婚后两人共生育了两个儿子。后来岳飞抗金从军，刘氏耐不住寂寞，也不照顾家庭、赡养婆婆，两度改嫁。第二任妻子，李娃则是跟刘氏完全不一样，她不嫌弃岳飞家境清贫，个人聪慧识大体，操持家务，事无巨细，孝敬岳母，并将两个孩子视如己出，她跟岳飞共生育了两女三男。随后岳飞入狱，她带着三个儿子被流放到岭南之地，后来岳飞被平反后，她才恢复正德夫人和晋秦国夫人的称号，74岁去世，按照她临死前的心愿，将她葬在婆婆旁边，让她可以在阴间接着照顾婆婆。
岳飞平时对岳云的教育十分严格，一旦岳云犯错，不论大小，他必以军法重重的责罚，丝毫不讲啥父子情谊。也是多亏了这样严苛的教育，岳云年纪轻轻就成为了一名能文能武的少将，在战场上立下赫赫战功，勇于杀敌，所向披靡。他立下了众多功劳，但是岳飞却常常隐功不报，岳云也是毫无怨言，依旧在战场上积极作为。有些人看不下去了，坚持上报岳云的战功，皇上对岳云也甚是满意，几次要给他封官进爵，但是都被他父亲给推掉了。后来岳飞入狱，岳云也受到牵连，在岳飞死后，他也被斩首了，年仅23岁。
二子岳雷在他父亲和哥哥入狱后，被派去照料他们。待父亲和哥哥被杀后，16岁的他和母亲刘氏，一起被流放到惠州，还没有等到父兄平反，便在流放地含恨而终。李娃一个弱女子，带着12岁的岳霖、7岁的岳震和3岁的岳霆，生活艰难，当地的官役还对他们孤儿寡母百般刁难，就这样，李娃还是将这3个儿子养大成人。后来除了岳霖早早逝世，岳震和岳霆都因有才干，得到朝廷的重用。
至于岳安娘和岳银瓶，由于岳安娘在家里还没有出事前便已经出嫁了，后事不详。小女儿则是来回奔波为父平反，最后投井而死，死时仅13岁。
