纪晓岚的父亲，叫纪容舒，举人，历任户部、刑部属官，曾经外放云南姚安任知府，所以纪晓岚多称令尊大人为姚安公。姚安公为政很有贤声，其道德文章，皆名一时，尤长考据之学。甚至，自己祖上的事，也多方考据，传之晓岚。
他曾经私下偷偷悄悄小声告诉纪晓岚，崇祯十五年，其先高祖厚斋公携带家小移居河间，以躲避孟村的土匪。厚斋公去世后，听说朝廷大兵将到河间，故土难离啊，所以全家人筹划着想要迁回老家。
等到全家老小即将收拾完临行时，邻家的一位闲着没事看他们热闹的老者，感叹兵荒马乱，望着他们家大门上贴的门神感叹道：“假使现在有一个像尉迟敬德、秦琼那样的人，也不至于落到这般田地。”还说你们家的两位曾伯祖，一位名景星，一位名景辰，都是有名的秀才。你看，后人们也落到这般田地。
曾祖他们当时恰好正在门外捆扎行李，听了老者的话，不屑一顾地辩解道：“这是神荼、郁垒的画像，并不是尉迟敬德和秦琼。”据《山海经》记载，在东海之中有一座神山“度朔山”，这度朔山上有一株特别大的桃树。这棵大桃树盘曲三千里，在枝干延伸出去的最东北处，有一座“鬼门”，那里是众鬼出入的门户。而把守着鬼门的两位神将，一位叫神荼，一位叫郁垒，防止害人的鬼进入人们的家中。
老者不服，举出丘处机著的《西游记》为证。民间也有流传，说《西游记》的作者是丘处机，不是吴承恩。纪晓岚两位曾伯祖看一老叟竟敢和他们掉书袋，当场就急了，说此书为街巷小说，不足为凭。并转身回屋里取出东方朔的《神异经》与他争论。
当时已是日暮时分，他们反复争辩又耽搁了时间，大获全胜要启程的时候，城门已经关闭，所以无法出城了。
第二天，他们正要上路，河间城已被大兵包围了。城被攻破后，一家人全部遇难。只有纪晓岚曾祖光禄公、曾伯祖镇番公及叔祖云台公得以幸存。
姚安公悄悄说这是只知道读书却不识时务所造成的后果。纪晓岚却说。当个书呆子也并不是什么见不得人的事，古往今来的许多大学问家，做出这种糊涂事的并非绝无仅有。
,
