宋代文人笔下关于岳飞的记载很多，其真实性虽然有待考证，但也从另一个方面说明了一代抗金名将对后世的巨大影响力。缘于认知水平和时代局限，有些记载虽然荒诞不经，但亦无损岳武穆英名，管中窥豹，走下神坛的岳飞也有平常人的一面，其血肉丰满的形象呼之欲出，这才是英雄和普罗大众零距离的接触，或许这样的岳飞才更加真实可信。
《宋稗类钞》上说，岳飞本是韩琦家的佃户，也就是韩府的雇工或者保安之类的，显然韩琦对岳飞是比较照顾的，岳飞每见韩家子弟都恭恭敬敬的，必执礼以拜，吃水不忘挖井人，哪怕是此后执掌军权，位居高位，仍然不改旧礼，可见岳飞是一个知恩图报的人。此事亦有岳飞之孙岳珂《鄂王行实编年》印证，宣和四年，有流贼张超率百余名乌合之众围攻韩琦府第，岳飞时在籴米，怒喝一声，贼子安敢犯我地界？抄刀奋勇向前，后一箭射穿张超咽喉，流贼纷纷作鸟兽散，韩府得以保全。后来岳飞得以平反昭雪，谥号武穆，分封为鄂王，与韩琦曾孙韩侘胄“崇岳贬秦”，鼎力相助分不开。
岳飞年青时，曾在长安道上偶遇一位相士，此人姓舒，鹤发童颜，仙风道骨，舒老头眼见岳飞骨格清奇，长相迵异，主动上前攀谈，言道，年轻人啊，看你相貌堂堂，日后必定当显富贵，统帅大军，建功立业，可惜最终会死于非命。岳飞大惊，细问究竟。老头直言相告，哎，我认识你，你前世是猿精，猿长大壮硕后必定被害，你的功名富贵越显赫，越会有人妒嫉和记恨。后来岳飞果然树大招风，被奸臣和刻薄寡恩的高宗所害。（见《独醒杂志》）
还有一种说法，时大理寺卿周三畏为岳飞案主审，开始觉得岳飞谋反案坐实后，朝廷必有重赏，后来越审越不是个事儿，他曾听岳飞门下僧人惠清说起过一件事儿，说岳飞年轻时曾经遇到异人舒翁，曾非常隐秘的劝告过岳飞，君乃猪精，精灵流落人间，必有异事，此后会手握十万精兵，建功立业，位居三公，只是人怕出名猪怕壮，不会善终，得志后当早寻退路，以免被害。岳飞不以为然，后果然被冤杀。周三畏因良心使然，挂冠而去，不知所终。（见《夷坚志》）
岳飞当然不是猿精和猪精，只是后人牵强附会罢了，一则说明人们惋惜岳飞被害，此因天命所限，猿和猪都是难以善终的动物，归于天命，未必不是一种曲笔，其矛头安敢直指当权派和宋室朝廷，遣责其卸磨杀驴？二则也说明了岳飞的忠直秉性，只知精忠报国，不知激流勇退，安身立命而保全自己。
《三朝北盟会编》里还记载了岳飞一件隐事，岳飞驻军在徽州时，其舅姚某飞扬跋扈，仗势欺人，被老百姓举报到岳飞那儿，岳飞告诉了他的母亲姚老夫人，姚夫人严加训斥其弟，其舅怀恨在心。有一天，岳飞和他的舅舅外出，其舅打马前行，约有数十步之遥时，忽然回头张弓搭箭，一支雕翎冷箭径直射向岳飞，岳飞惊惧中闪身躲过，冷箭正中马鞍。岳飞知道这是舅舅衔恨报复，必欲置其于死地，于是纵马追逐，然后轻舒猿臂，擒落马下，取下随身携带佩刀，一刀就结果了舅舅性命。回家后岳飞把此事秉报给母亲，姚夫人责怪他，不该下手太狠。岳飞辩解道，如果当时射向我的那一箭，我若躲不过，我已经成为死人了，今日不杀舅，日后必为舅所杀。
岳飞杀舅一事不见正史，但《会编》作者徐梦莘是岳飞稍后同时代人，此书成于光宗绍熙五年，在此之前岳飞已经被宋宁宗平反昭雪，此后声誉正隆，作者不可能污蔑中伤岳飞，而《会编》史料丰富，记述详细，为历代研究辽、宋、金史的基本史籍之一，而作者徐梦莘倾毕生精力着述此书，治史严谨，因此岳飞杀舅一事很有可能属实，也体现了岳飞的杀伐果断和治军严厉，否则就会养虎贻祸，后患无穷。
另据《会编》记载，岳飞在驻军镇江时，泗州知州刘纲奉命前往帅府会商军事，刘纲请示岳飞，泗州（今江苏盱眙）位于淮河以北，易攻难守，无兵无粮，万一金兵打过来，是守好呢？还是放弃？岳飞反问，这个地方叫做润州，还有其他什么称呼？刘纲回答京口。岳飞再问，还有呢？丹徒。还有呢？南徐。岳飞笑了笑说，正是，你应该知道怎么办了。刘纲从帅府出来后，对岳飞心悦诚服，赞不绝口，岳鹏举真是有过人之处！
什么意思？刘纲为什么对岳飞如此崇拜？其一，岳飞熟知天文地理，对泗州古地名了如指掌，充分说明了他作为军事家的素养；其二，作为军事统帅，能够审时度势，泗州并非抵抗之地，只有南撤才能保全百姓，这个策略是正确的，也是刘纲心中所想的；其三，京口、丹徒、南徐，谐言为：金狗，歹毒，南去。妙用隐语本是宋朝士大夫的专利，诸如苏轼与文士和尚之间互相猜谜以及隐语作答的绝妙，一介武夫的岳飞居然擅长此道。如此充满趣味的回答手下提问，又对军事部署作出了应对，令人拍案叫绝，怎不令刘纲倾倒？
《齐东野语》里则记载了一则岳飞治军严明、军纪肃然的轶闻，岳飞在庐陵征讨流贼时，率军在闹市区安营扎寨住宿，第二天天亮后，带领士兵清扫街道门院，洗涤干净所用民间器物后整军出发。当地官员在郊区备好帏帐和劳军粮草，并且专门为岳飞准备了酒食饯行，队伍都快走完了，也没有见到岳飞本人，问队伍里士兵，大将军何在？左右对曰，大将军已经率领手下偏将们早就远去了。留下了一群呆若木鸡的地方官员，个个不由自主的伸出大拇指，为岳飞点赞，大将军不愧为中兴第一名将。
绍兴初年，在朝廷锲而不舍的求和下，宋金和议达成，高宗派遣了一个叫做士儴（此为别字，打不出来）的官员担任外交使臣到金国，士儴路过岳飞大营时，岳飞劝告道，金人诡计多端，不讲信义，大人不可久做停留。士儴说，肩负国家使命不可不去。告辞北去后不多远，忽见前方尘烟四起，杀声震天，士儴吓得赶紧弃路远遁，就在狼狈不堪惊魂未定时，望见一杆迎风飘扬的帅旗，再一打量岳飞已经疾驰而来。
岳飞笑着说，我劝你别去，就是担心金人劫掠，我已派手下两员将领前往迎敌，胜负难料。你是皇帝身边重臣，肩负重任，我自当派兵护送。没走多远，岳飞手下两位将军前来报捷。后来岳飞含冤下狱，士儴力辩岳飞无辜，极力营救，并不是为了报当初之恩，而是亲眼所见岳飞兵贵神速，指挥有方。（见《齐东野语》）
就连岳飞含冤入狱，最后被迫害致死，似乎也早有预兆。岳飞被朝廷勒令回师，率军走到金山寺时，禅师道月再三劝阻岳飞谨防小人构陷，不要只身奔赴朝廷，岳飞执意不从。道月无可奈何之下赠诗一首“风波亭下水滔滔，千万坚心把柁牢。只恐同行人意歹，将身推落在深涛。”岳飞到了临安后，即被罗织下狱，就在大理寺，有一小亭名曰“风波亭”，岳飞见后，方悟禅师语意。后来秦桧听说此事后，马上派遣手下打手何立前往缉拿道月。道月正在为众道徒讲法授道，看见何立后，说出了一段偈语“吾年四十九，是非日日有。不为自家身，只为多开口。何立从南来，我往西方走。不是佛力大，几乎落人手。”言罢，端坐而化。（见《坚瓠集》）
依岳飞忠直善良天性，以及精忠报国志向，道月禅师的劝告再有效，也未必会听从禅师所言，后人尽可以议论岳飞愚忠，而在岳飞看来，君叫臣死，臣不得不死，以青史留名的悲愤印证“莫须有”的罪名，未必不是岳飞的最好选择和归宿。
而下面这则记载则多少反映了岳飞最后的沉静如水和慷慨赴死，确切的说，岳飞想通了，也最终超脱了。岳飞在狱中时，有一个小牢子一直对岳飞非常敬仰，侍奉恭敬，可是忽然有一天变了，凶神恶煞一般，呵斥不断，岳飞不明就里，就询问小牢子为什么变化如此之大。小牢子说“君臣不可疑，疑则为乱。君疑臣则诛，臣疑君则反。君今疑臣矣，少保若不死，出狱则复疑于君，安得不反？反既明甚，此所以为逆臣也。”
岳飞听后，长叹一声，觉得小牢子所言如颇有道理，此后不复多言，索笔画押，所有泼向他的脏水照单全收。小牢子服侍恭谨如初（见《三朝北盟会编》）。此后不久，一代名将遇害身死。这个故事看似荒唐，其实切中要害，尤其让后人读到时深感凉薄，岳飞之死，则更显现的悲壮，苍凉，令人扼腕叹息。