“苏州巨族，以潘姓为最，有富潘、贵潘两派。然富者不必贵，而贵者乃兼富，” 此处所说的“贵潘”，就是指苏州吴县潘世恩家族。
苏州潘世恩故居
潘世恩家族祖籍徽州歙县北岸镇大阜村，是徽州著名的商贾世家。明末清初，潘氏二十四世祖潘仲兰（《大阜潘氏支谱》称之为筠友公）在江淮之间经营盐业，侨居苏州。潘仲兰之子潘景文（潘氏二十五世，谱称其蔚公）后移居苏州城厢黄鹂坊桥巷，成为大阜潘氏家族迁徙苏州吴县的始祖。
安徽歙县北岸明代潘氏宗祠
苏州潘世恩故居——纱帽厅
明清时期，苏州的教育文化极为发达，不管是当地人还是外地人要想挤入苏州的上流社会，离开了科举考试是没有其它道路可走的，对于当时刚刚移居苏州的潘氏家族来说也是如此。潘景文考中秀才后，多次参加乡试，屡踬场屋，遂绝意进取。
苏州潘世恩故居——状元博物馆
潘景文之子潘兆鼎（字敷九，二十六世）二十岁时纳捐为监生，直到三十岁时才成为一名贡生。由于屡试不第，不得已只好重操祖业，在苏州经营盐业。
潘兆鼎之子潘暄为诸生，在康熙、乾隆年间曾经先后十三次参加乡试，耗费了30余年的光阴，也没有考中举人，直到67岁之后，才彻底断了科举入仕的念头。从潘景文到潘暄祖孙三代数十年的努力，连个举人都没有考中，不仅使祖孙三代经科举入仕的美梦破灭，而且也使潘家蒙受了巨大的经济损失，原本富裕的家庭几乎已经到了破产的边缘。在这种情况下，潘暄及其妻子戴氏审时度势，决定由他们的次子潘冕（潘氏二十八氏，谱称贡湖公）弃儒经商以重振家业，这才使潘家的经济情况有了好转，从而为潘家在科举上获得成功奠定了坚实的经济基础。
潘世恩故居
潘冕重操祖业后，以经营盐业致富，每到腊月中旬后，“取白金二三百两，各称小包，三五两不等。身被旧褐衣，走乡中僻巷，察其无计度岁者，量给与之，人不知为谁也。奉行《感应篇》，终身不倦，尝获吉壤，地师以为必发鼎元。翁乃语人以风水在心不在地，《感应篇》即风水书，奉而行之，无不可，期子孙昌大也。” 潘冕生有三子：长子潘奕隽、次子潘奕藻、三子潘奕基。潘奕隽三兄弟聪明好学，为诸生时已经闻名遐迩。潘氏移居苏州后，经过整整五代人一百余年的努力，只是到了潘奕隽兄弟时，终于时来运转，改变了整个家族的命运。
潘奕隽，潘冕长子，字守愚，号榕皋，一号水云漫士，晚号在松老人，乾隆三十四年（1769年）己丑科进士及第，据《明清进士题名碑录》记载，籍贯为钱塘，后改入吴县，其兄弟通籍后，先后改籍吴县，潘氏家族遂占籍苏州。潘奕隽一生官运不佳，只做过户部主事这样的低级官员，但他开启了苏州潘氏甲科留名之先河。潘奕隽善书法与写意花卉，著有《三松堂集》传世。
潘奕隽（1740-1830）
金匮县人钱泳与潘奕隽为忘年交，对其知之甚深：
“吴县潘榕皋先生名奕隽，字守愚，少聪颖，年十六以商籍补仁和县学生。中乾隆壬午乡榜，己丑成进士，及殿试名列第七，以引见不到降附三甲末，迨御试保和殿，钦定第十名，以内阁中书用。补官十余年，除户部主事，遂拂衣归。自此林居四十余年，读画评诗，游心物外，怡然乐也。道光壬午岁，重赴鹿鸣。己丑岁，又将重赴琼林，时年已九十矣。以两江总督、大学士蒋公攸铦奏陈，奉旨加四品卿衔，着加恩免其进京，以示体恤耆儒之至意。是年适遇覃恩，胞侄世恩以所得一品封典封光禄大夫，先生生一子名世璜，中乙卯探花，亦授户部主事，两孙俱补博士弟子员。尝赋《纪恩诗》十首，海内名公卿和者甚众，莫不荣之。所著有《三松堂诗文集》若干卷，行于世。泳自束发游吴门，与先生为忘年交，往还最密，相知亦最深。呜呼！若先生者，可谓五福兼备者矣。”。
潘奕藻，字思质，号畏堂，潘冕仲子，乾隆四十九年（1784年）甲辰科进士，选翰林院庶吉士，历官刑部主事、刑部郎中、湖南乡试主考官，因疾乞归。潘奕藻善书法，现存有《听雨楼诗稿》8卷。
潘世恩，潘冕孙，潘奕基次子，字芝轩，号槐堂（一作槐庭），传说其诞生前一天晚上，其祖父潘冕梦见一只玉麒麟从天空降落在院子里，于是取置掌中，宛转化为婴儿，“比长，天姿聪颖，器宇端凝。” 当他参加苏州知府李逢春所主持的童子试时，“端坐试席，风度凝重。” 李逢春异之，于是出了一副上联“范文正以天下自任”，让其联句对下联，年幼的潘世恩脱口而出：“韩昌黎为百世之师。”李逢春忍不住击节叹赏，于是拔其为卷首，书其卷尾云：‘此子早安排作状元宰相矣。’人服其识。
国宝档案——状元宰相潘世恩
潘世恩二十四岁时，中乾隆五十八年（1793年）癸丑科第一甲第一名进士，授翰林院修撰，擢侍读学士，当时，权臣“和珅以其青年上第有才望，欲招致之，世恩谢不与通。以次当迁，和珅抑题本六阅月不上。仁宗亲政，乃擢侍讲学士。一岁三迁至内阁学士，历礼部、兵部、户部、吏部侍郎，督云南、浙江、江西学政。十七年，擢工部尚书，调户部。母忧归，服除，以父老乞养，会其子登乡举，具疏谢，坐未亲诣京，降侍郎。帝鉴其孝思，仍允终养，居家十载。” 道光七年（1827年），服父丧阕，补吏部侍郎，迁左都御史，再授工部尚书，调吏部尚书。道光十三年，拜体仁阁大学士管理户部，不久被任命为军机大臣，后晋东阁大学士，调管工部。道光十八年（1838年），晋武英殿大学士。道光三十年（1850年），文宗即位，致仕。咸丰四年（1854年），卒，谥文恭。
四朝元老潘世恩
潘世恩为相达二十三年，当时人对其所作所为不以为然，认为乏善可陈，但他的同乡著名学者冯桂芬则有不同的看法。冯桂芬为其所撰写的墓志铭，称“公视学云南，革新生红案银，在江西绝替考之弊。时担匪、边钱会匪踪迹出没无已，公密疏以闻。在浙江，值海寇蔡牵、黄葵之乱，亦如之。总户部最久，黑龙江将军请增都尔博特六屯，公议地当游牧，开垦非利也，不可许。言官奏山东盐课请归地丁，公议山东场灶半毗连淮境，一归地丁，听民自运自销，官私漫无稽核，必为两淮引课之累，寝其奏。康祺又闻：公大考升官时，和珅方执政，屡招公，公不往。文宗登极，诏举人才，公疏荐林文忠公、姚廉访莹、邵员外懿辰、冯中允桂芬，皆表表人望也。公之事业，虽不知视古名相何如，亦足愧后之模棱伴食、坏国是于无形者。” 清人陈康祺评价他时，认为：“本朝耆臣生加太傅者五人，重宴琼林者八人，状元作宰相者八人，惟潘文恭公兼之。又大拜不阶协办，枢廷不始学习，皆异数也。富贵寿考，子孙继武，公之福祉，三百年一人已。”
潘世荣，潘世恩胞兄，乾隆五十九年（1794）举人，因伯父潘奕藻无子，嗣之。
潘世璜，潘奕隽独子，潘世恩堂兄，字黼堂，乾隆六十年（1795）乙卯科第一甲第三名进士赐进士及第，仕至户部主事。
潘世璜（1765-1829）
潘曾莹，潘世恩次子，字星斋，道光二十一年（1841年）辛丑科进士，由翰林院编修升至工部左侍郎。其学有根柢，尤长于史学，著有《小鸥波馆文钞诗钞词钞最》20卷、《画识》3卷，《画品》、《画寄》、《墨绿小录》各1卷。其 “画以青藤白阳为宗，书则初学吴兴，晚学襄阳，尤得其神髓。配陆夫人，亦知书，工书画（按：夫人名韵梅，字琇卿，曩见侍郎《鹦鹉帘栊词钞》有同夫人连句《清平乐·雨后坐月》一阕。《闺阁诗钞小传》：‘卿工画花卉’）。同时女史汪小韫（端）镌小印以赠，文曰潘江陆海。夫人性仁恕，每大雨初霁，闻门前瓜果者，曰：‘清凉如此，谁与售者？徒赪其肩耳。’命尽买之。偶有两瓯堕地，一碎一否，顾诸子曰：‘汝曹识之：薄者破，厚者完也。’晚年颇信佛法。光绪戊寅二月既望，夫人已示疾，犹诵经礼佛如平时。时侍郎亦寝疾，与夫人异室而处，得南中所寄金橘，呼次公子使奉其母，夫人犹问汝父寝未。明日鸡鸣时，夫人遽卒。侍郎未之知也。俄而曰：‘天明耶？’公子祖同对曰：‘尚早。’命进饮，饮已复睡，日加巳，亦卒。侍郎生于嘉庆戊辰十一月，夫人生于是年七月，至是岁皆七十有一。生同年，死同日，士大夫以为美谈。”
潘曾莹(1808-1878)
潘祖荫，为潘世恩第三子潘曾绶之子，字东镛，又字凤笙，号伯寅，又号郑盦，别号龟盦，咸丰二年（1852年）壬子科第一甲第三名进士，授官翰林院编修，历任侍读学士、日讲起居注官、大理寺少卿、光禄寺卿、左副都御史、工部与户部侍郎、礼部右侍郎、工部与兵部尚书，官至工部尚书兼管顺天府尹事。
潘祖荫(1830~1890)
潘祖荫为官奉职为谨，清正廉洁，恪尽职守，当其任侍读学士时，入值南书房，常常半夜就起身，“入内，内侍为之然烛十余枝，坐而观书。勤之一字，无愧也。”
潘祖荫书法
据野史记载：当其为工部尚书时，从内廷朝拜后即出视部，“天方黎明，告司员曰：‘清晨办公，精神清楚。皇上遵祖法，早起视朝，故无废事。若部中俗例，秋、冬、春为晚衙门，夏日为早衙门，吾不谓苫。然亦须体恤人情，不便自行早来，或三日一到部，或四五日一到部，先一日预告部中，不敢使诸公虚候也。’尚书尚俭，不乘肩舆，一车而已。驾车白骡，已老矣。某岁伏雨过多，道涂泥泞，行至宣武门外，老骡陷于淖不能起。尚书告其仆曰：‘前有一车，悬工部灯笼。急呼之，予附其车。’问之，果为工部司员，且门生也。是早为尚书堂期，故早起入署。急下车相让。尚书曰：‘此车为吾兄之车，吾兄入车内，予坐车前足矣。不允，予将徒行。’乃同车而行。其白骡从此病惫，乃赁一轿，命仆人舁之。仆未练习，一日行至正阳门，雨后路滑，前二人仆，尚书亦仆于地，道旁观者大笑。有识之者，曰：‘此管理顺天府事父母官也，奈何笑之？’尚书起立，曰：‘本来可笑。’乃乘轿而归。京师传为笑柄。凡骡之青色者，年老则变白。潘府中骡多白，故京师人语云：‘潘家一窝白，陈家一窝黑。’潘祖荫喜饮酒，擅长书法与金石鉴赏，山东潍县有裴三者，“得一汉洗，花纹古篆皆佳，尚书以三百金购之，极喜。裴三求书楹联，诺之，曰：‘汝先归店，我即令人送到。’乃铺纸濡笔直书。书成一幅，命仆人往送。旋又写成一幅，更命仆送去，盖得一古器而兴高也。有诸城县拔贡尹祝年，讲金石之学，入京朝考，自书门生帖谒尚书。尚书曰：‘此非门生也，姑延入。’尹入见，即行师生礼，口称老师。翌日，入南斋，告曹殿撰曰：‘君同乡尹祝年硬拜老师，似强奸也。’同直者急询之曰：‘强奸已成否？’相与大笑。内侍急入曰：‘皇上将登殿。’笑乃止。尚书下直，出东华门，必至小合兴酒馆小饮，此馆得其墨迹最多。”
潘祖荫书法
光绪十六年（1890年），潘祖荫卒，褒赠太子太傅，谥文勤。潘“祖荫嗜学，通经史，好收藏，储金石甚富。先后数掌文衡，典会试二、乡试三，所得多真士。时与翁同龢并称翁潘云。” 著有《滂喜斋丛书》、《越三子集》7卷、《芬陀利室词》1卷、《攀古楼彝器款识》2卷、《户部则例》100卷、《滂喜斋宋元本书目》1卷、《滂喜斋藏书记》3卷。弟潘祖年，子潘树孳。
潘祖同为潘曾莹长子，字桐生，号谱琴，咸丰六年（1856年）进士，翰林院庶吉士。
潘遵祁，潘世璜子，潘奕隽孙，字顺之，道光二十五年（1845男）乙巳科进士，翰林院编修。潘遵祁淡于仕进，授官不久即退隐林下，秉承祖父潘奕隽与父亲潘世璜之遗命，捐田千亩，经叔父潘世恩同意，设立“松麟义庄”，“宏规细目，皆其手定。吴中大水，倡议拯灾黎，亲至各乡，稽查户口，又纠合同志，设厂质牛，农事得无废。”太平军占领苏州，避居上海，主讲蕊珠书院，晚年主讲苏州紫阳书院二十年，“造就尤广”。
潘遵祁(1808-1892)
潘尚志，潘景文裔孙，字心存，光绪十五年（1889年）己丑科进士。
从乾隆中期的1769年至光绪中期的1889年，在整整一百二十年的时间内，苏州潘氏先后有三十五人考中举人，其中九人连捷进士及第。在九名进士中，产生了一名状元和两名探花，难怪在同治年间，李鸿章巡抚江苏时，为潘氏题匾曰：“祖孙父子叔侄兄弟翰林之家”。
潘世恩家族在科举考试中所取得的佳绩与其家族重视科举教育的努力密不可分，但在清代时人把其家族的成功归因于潘氏先祖积德的因果报应，有的甚至赋予其神话色彩，据与潘世恩同时代的钱泳记载：
吴县潘大冢宰世恩，其先世歙人，上祖某居乡有盛德。尝以除夜人定后，秉炬至厅事，见一人蒲伏黑暗中，迫视之，邻子也。呼而询之，良久始言曰：“某不肖，好樗蒲，家尽落，且负人累累。今除夜，索逋者甚亟，不得已，欲为胠箧之行。素习公家，门户甚熟，故乘夜至此。今猝遇公，有死而已。”翁曰：“汝得若干可了诸负？”曰：“须十金。”翁曰：“十金事不难，何不早告？”命之坐，出二十金予之，曰：“十金偿负者，十金权子母作小经纪，勿再蹈故智，我亦誓不以向者之事告人也。”其人感泣叩头去。隔十余年，翁入山卜地，得一吉壤，而未知主其地者为谁。因就一村店饮，有男女两少年，见翁至，罗拜于前，谛视之，即除夜赠金之邻子也。盖其人得金后，为旗亭业，居数年，颇获利，娶妇且生子矣。翁大喜。其人款洽倍至，杀鸡炊黍，留翁宿其家。翁询以向所卜地，其人曰：“此我所买欲以葬先人者，今大恩人以为佳兆，请献之。”翁不可，其人再三恳，始立券，仍厚给其直。远近地师相度之，皆以为此鼎元地也。数世后，迁吴。冢宰伯父农部奕隽、比部奕藻先后成进士。冢宰暨其从兄编修世璜，俱得鼎甲。古语云“吉地非遥，根于心地”，良不诬也。
清人葛虚存也有类似的记载，不过主人翁不是潘冕而是其子潘奕基：
“吴县潘相国之封翁，性好善，喜施舍，人有婚丧事，以缓急告者无弗应，阖城以善人称之。一日闲步郊外，见凉亭中有一老者饮泣，解带将自经，翁遽前止之。询其故，其人曰：‘数日间将为子娶妇，贷于戚友得三十金，今日进城市衣裙，为剪绺贼掏摸去，无颜见家人，故觅死耳。’翁曰：‘此小事，吾偿尔金以成其美，毋遽轻生也。’拉之入城，向所熟店铺假三十金予之，其人感泣叩谢，问翁姓名，不告而去。后数年，翁为先人觅葬地，久之不得，偶偕地师至光福镇，见水中有一墩，左右环以两堤，若二龙抢珠状，地师诧曰：‘此吉壤也，葬之，后必有大魁而位登宰辅者。’顾无从得主者姓氏，姑至一酒肆访之。坐定，见当炉一叟，似即向所赠金者。叟见翁喜曰：‘吾恩人也，奚为而至此？’翁告之故。叟益喜曰：‘此某之废地。曩承拯救，厚施久不忘，欲报无由，惟朝夕焚香，祝公福寿。今以是地为可用，谨以奉贻。’翁不可，与议值，叟不肯受，推让至再，即以前所赠三十金署券归之。既葬，相国之显达，果如地师言。识者曰：“此所谓阴地不如心地也。心地善，则阴地随之矣。’”
,
