杨贵妃与安禄山的绯闻，不仅在野史、话本中出现，就连司马光所著《资治通鉴》中，多次记载了安禄山与杨贵妃的不正常关系。司马光对于这段绯闻也是颇有研究，他根据《安禄山事迹》、《开元天宝遗事》等文献，推测出安禄山与杨贵妃之间却有私情。
杨贵妃成为安禄山养母之事，或许就是他们两人暗通私情之始。史书中记载，公元751年正月二十日，在安禄山生日之际，为了笼络安禄山的唐玄宗，让杨贵妃收他为养子。
这可不仅仅是一个名义上的养子，唐朝年间流传着给孩子“洗三朝礼”的风俗，为了尊重这一种风俗习惯，在杨贵妃收安禄山为养子后的第3日，玄宗又召安禄山进宫，让贵妃亲自完成“三日洗儿”的风俗。应召入宫的安禄山，被贵妃用锦绣做成的襁褓裹了起来，让宫人用彩色的轿子抬着安禄山在宫内行走，当时宫中一片欢声笑语不断。
唐玄宗知道这件事以后，不仅没有责怪杨贵妃，反而亲自前往观看“三日洗儿”之礼。唐玄宗趁着开心之余，竟然又给贵妃赏赐了洗儿金银钱。
这件事发生以后，关于安禄山与杨贵妃之间的绯闻就越发的多，据说，安禄山不仅经常出入后宫，有的时候甚至通宵不走，司马光就在《资治通鉴》中记载安禄山：“或与贵妃对食，或通宵不出，颇有丑声闻于外，上亦不疑也”。
宋人在为《资治通鉴》作出解释评价到，唐玄宗对于自己的妻子与安禄山之间不清不白的关系毫不怀疑，甚至无动于衷，或许是被杨贵妃的美貌夺去了皇上魂魄。
纵然杨贵妃的美貌令唐玄宗色迷心窍，可是他毕竟是高高在上的皇帝，妻子与臣子之间的绯闻早已经传得满天飞，他即便再相信杨贵妃，也不可能毫不在乎二人的真正关系才对。
他却从不在乎绯闻传播的最主要原因，大概率是因为安禄山与杨贵妃之间的绯闻本就为假，只是唐玄宗挡不住那些传播流言蜚语的嘴巴，所以他就用毫不在乎的态度，表明二人之间没有任何关系。
第二：即便两人之间的绯闻为真，但是，唐玄宗晚年本来就是一个荒淫失政、纵奸误国的皇帝，沉迷于享乐的唐玄宗周围充斥着逢迎拍马的佞臣，这些人或忌惮于安禄山的权势，或已经被安禄山收买，未必会将真实的绯闻告知唐玄宗。
更何况，唐玄宗之所以利用各种手段娶杨贵妃进宫，本身就是迷恋杨贵妃美色，两人之间未必有真正的感情，本身就十分“豪放”、颇有胡人遗风的大唐皇帝，也许对于杨贵妃的绯闻也并不多在乎。