从小说和民间传说来看，济公是出身于富贵人家的少爷，家族是典型的官宦世家。因此在很多人印象中，济公的家族是民间富户的形态。他喊着金汤匙出生，家里有着良田千顷，一辈子衣食无忧，所以才有机会学习佛学，最后成为一代高僧。其实这种印象是不全面的，济公的家族不但是富户和官宦世家，而且是宋朝最顶级的将门世家之一。我们在小说和民间传说中见到的情节，只是这个家族败落后的样子。而在靖康之变之前，这个家族没有受到金国入侵的冲击，那时候的显赫是远远超乎普通人想象的。
济公本名李修缘，是南宋时候的高僧，他出生时岳飞已经被冤杀，完全生活在南宋的社会环境下。当时李家虽然是浙江天台山一代出名的大户人家，是有着良田千顷的大富豪，却已经是败落后的样子了。在败落之前，李家也是北宋将门世家中数得着的，地位权势非常之显赫。由于金军南侵，东京汴梁城发生靖康之变，北宋将门受到毁灭性打击，所以南宋时候才逐渐败落。即便如此，李家的富豪也远在普通富户和官宦人家之上。他的父亲李茂春做过天台县的县令，伯祖李文是临海督尉，都是家族势力萌荫的结果。
李家起源于五代十国时期的名将李崇矩，后来逐渐发展为北方有名的将门世家。后汉高祖刘知远在太原起兵，先锋史弘肇听说了李崇矩的名声，亲自出面招揽。刘知远当了后汉皇帝后，史弘肇管理东京汴梁城的禁军，李崇矩是史弘肇的心腹。后周太祖郭威与史弘肇交好，当了皇帝后便善待史弘肇的属下，于是乎李崇矩被安置在了柴荣的军中。柴荣成为后周皇帝后，李崇矩是柴荣心腹，跟随柴荣参与了高平之战等重要战役。柴荣去世后，被派出使南唐，回来后发现赵匡胤兵变夺取了柴家皇位。
赵匡胤建立宋朝后重用李崇矩，先后担任右监门卫大将军、三司使、枢密使等重要职务。他平定了参与平定了昭义军节度使李筠、归德节度使李重进等叛乱，战功赫赫。李崇矩是自慕容延钊以后，又一位以将门世家身份出任枢密使的将领，这在北宋是极为少见的。
北宋军事制度是以文御武，枢密使管理国家军令，向来又文官担任，俗称"使相"，是宰相一级的人物。为了防止武将拥兵自重，所以枢密使极少又武将担任。后来狄青因大功被宋仁宗提拔为枢密使，都受到文彦博、韩琦等文臣的群起而攻之。李崇矩能成为枢密使，可见其地位的显赫，受到宋太祖赵匡胤的信任。
李家是北宋初年最顶级的将门世家之一，与慕容家都是赵匡胤倚重的对象。宋太宗赵光义即位后也重用李家，还把自己的女儿万寿公主嫁给李崇矩的孙子李遵勖。济公便是李遵勖的玄孙，是拥有赵宋皇室血统的贵族。因此李家在整个北宋时期都非常显赫，光靠着家族萌荫就能在北宋禁军中占有一席之地。更不要说在地方上有大量的土地、人口等资源上的垄断。如果没有靖康之变的发生，李家的显赫也会延续下去，而不会随着南逃的大潮迁移到浙江，落户天台山下。即便如此，他们南逃带来的钱财也换得千顷良田，成为一方之巨富。
与别的将门世家不同，李家是世代崇佛的典范。别的将门世家要么在军队中谋求发展，要么转文职，让家族子弟考科举。李家却形成了崇佛的传统封赏，而且花大量金钱进行佛教建设。李崇矩时期，李家是将门中数一数二的存在，富可敌国，他却拿这些钱财投资到了佛教上面。当时李家不但修建大量寺庙，广开法会，帮助佛教传教。而且李家还大量供养僧人，据说鼎盛时期达到七十万人。这种恐怖的数字恐怕只有南朝梁武帝萧衍能与之相提并论。而且李崇矩还沉迷于炼丹术，到处找道士和僧人中的炼丹大师，即便多次上当都毫不后悔。
正是因为有这样崇佛的传统，所以李家时代佛学兴盛，出现了不少精通佛学的人物。靖康之变后李家南逃，李茂春一家在天台山下安家，于是给了济公学佛的良好环境。天台上的国清寺在佛教禅宗地位很高，是浙江有名的禅宗寺庙。同时天台山又是佛教洞天之一，全真教南祖之一的紫阳真人张伯端的修道之地。所以这里出世氛围很浓，再加上家族崇佛的熏陶，济公还没成年就成为了虔诚的佛教居士。而且济公算是佛道双修的僧人，对佛教和道教的义理哲学都很精通，为他后来成为一代高僧奠定了基础。
济公是典型的因崇佛而主动出家为僧的例子，与很多僧人受到打击而避世，或者在寺庙混日子不同。当时的南宋社会矛盾非常激烈，对外有金国随时南下入侵的危机，对内南北两党矛盾尖锐。南党作为本土政治势力的代表，排斥北方南下的将门世家和士绅家族，想要借此垄断朝廷权势，左右南宋的国运。而北党在金国南侵中受到巨大打击，逃难来到南方，必然会与南党士绅争夺地方利益。济公作为北党的一员，对于这种南北内斗的事情司空见惯。但他又没有能力去阻止和处理，只能在佛教的经义中去寻求办法。
由于南北矛盾尖锐，不但在政治上风波不断，而且民间百姓也受到波及。由于要应付来自北方金国的压力，南宋百姓的税赋很重，生活比较艰难。济公用悬壶济世的方式游走民间，利用自己僧人的特殊身份，和家族出身的地位，做了很多扶危济困的好事。这些事情缓解了民间矛盾，也让他名声越来越大，最终成为南宋两大高僧之一。世人看济公时，都见到他疯癫的外表，或者扶危济困的功德，却往往忽略了他权贵出身的家族背景。如果没有这些家族背景，只凭一腔热血和两袖清风，是很难做成这些事情的。
,
