西晋武帝太康元年(280年)六月的一天，在幽州范阳国涿县(今属河北)的刺史官邸花园里，三个少年正在练剑。
一个十五岁，身体强健，面目英俊。一个大约十三岁岁，身材矮小，精神有点委琐。一个十一岁，眉清目秀，颇呈书卷气。
他们是在对练。十五岁的以一敌二，招术精妙，剑气纵横，已经稳占上风。
十三岁的虽然仍在见招拆招，但已显得力不从心，手忙脚乱。十一岁的在剑气笼罩下，则仿佛被无形之力束缚，不仅跳跃不灵，连剑也无法运用自如。
胜负显然已分。然而，十五岁的似乎毫无住手之意，得寸进尺，更加紧逼。十三岁的和十一岁的退到篱笆下，再也无处可退，大汗淋漓，气息阻滞。
花园外站着一个虎背熊腰的中年汉子，正隔着篱笆聚精会神地观战。看到先前情形，曾微微一笑；看到眼下景况，不禁眉头一拧但见他身形一晃，便越过篱笆，插到三人之中，倏然夺下十五岁少年的手中的剑，厉声斥道：“心中烦闷，也不该拿同门兄弟出气！”
中年汉子姓李名阳，字景祖，原籍并州。少年时代，从名师学艺，练就一身卓绝武功青年时代，因仗义疏财，扶弱锄强，在并州闯出不小的名头。
后来携剑出游，在国都治阳小驻，无赖敛迹，豪强屏息，赢得“京师大侠”的美称，受到晋武帝的重视。
幽燕自古多豪杰。当时幽州所统七郡国（范阳国、燕国、北平郡、上谷郡、广宁郡、代那、辽西郡)，游侠甚多。他们劫富济贫，藐视王法，很令朝廷头痛。
武帝心生一计，请李阳暂摄幽州刺史。李阳尽管知道朝廷想利用自己的威望笼络幽州的游侠，但君命难违，也只好抱着暂且应付一下的念头，单人匹马，匆匆赴任。幽州刺史的治所设在范阳国的国治涿县。谁知一到涿县，李阳就让这三个少年给缠上了，转眼数年过去，竟然脱身不得。
十一岁的少年姓司马名虓，字武会，是范阳王司马绥的爱子。司马绥是晋王朝的宗室，武帝泰始元年(265年)受封范阳国王。范阳原是郡，司马绥受封之后，才改称国。司马绥贵为宗王，却十分美慕游侠生活，可惜自己武功平凡，无法在江湖上闯荡。于是，将希望放在爱子身上。猛虎怒吼曰“虓”。“武会”倒读即为“会武”。从给爱子所取名字就可知道，司马绥对爱子寄托甚深。
一代大侠屈就幽州刺史，自然令司马绥欣喜若狂。他在洛阳与李阳曾有一日之交、一面之雅，因而马上命司马虓拜李阳为师，苦练武功。然而司马虓资质文弱，不是学武的胚子，荏苒数年，成就甚小。李阳不便将实情告诉司马绥，也只好硬着头皮继续教下去。
十三岁的少年姓祖名约，字士少。
十五岁的少年姓祖名约，字士稚。他俩是同胞弟兄，家就住在范阳国的遒县。提起祖家，当地无人不知，无人不晓，不仅在范阳是名门，在幽州也排得上冠族。上推九代，都出身孝廉，官至郡守。可以说是一个以敦礼尚文为事业的世家。
祖逖的父亲祖武，继承家业，当过晋王掾、上谷太守。祖武有六个儿子：前二个早卒。中二个为正房所生，一名该，一名纳。后二个为侧室所出，一即逖，一即约。该，纳克绍箕裘，以敦礼尚文为业。逖却从小不好读书，藐视礼法，喜欢舞枪弄棍，行侠仗义。约与逖手足情深，受逖的影响，也置家训于不顾。祖武对于这兄弟俩的不肖，既恼且怒，最后郁郁而逝。
父亲一死，祖逖更加无所顾忌。他与同父异母的二个兄长关系本来就不好，却偏要打着他们的招牌，把他们的谷，帛慷慨地接济贫困的乡党宗族。
二个兄长对祖逖又恨又怕，多次投书官府，要与祖逖脱离兄弟关系。然而祖逖毫不在乎，照样我行我素。
李阳一到幽州，祖逖就带着祖约拜到门下，硬要学艺。李阳爱才，见祖逖器宇轩昂，大堪造就，自然同意了。祖逖学了几年，武功飞速进步，李阳非常高兴。祖约资质较祖逖为差，且贪多务得，不自量力，进步不大。
祖逖知道自己的功力、剑法超出同门兄弟许多，较一般江湖好手也不为差，不觉有点自命不凡。
去年(279年)十一月，听说朝廷大举伐吴，祖逖怦然心动，想携剑从军，一露锋芒。没想到李阳以年龄还小，武功未精为由，不许他去。祖逖为此很不高兴。
本年三月，吴国被灭；五月，吴主孙皓被押到洛阳。一个立功扬名的机会，就这样好端端地错过了。几天来，祖逖越想心里越不是滋味。对恩师自然无可奈何，在刚才对练中，就不由自主地把不满情绪发泄到二个同门兄弟身上了。
此刻，祖逖看到李阳眼中严厉的闪光，祖约，司马虓狼狈不堪的可怜模样，才知犯了错误，羞愧地低下头来。
李阳的面色渐渐平和，一只手把剑还给祖逖，另一只手拍拍祖逖的肩臂，缓缓道：“知错能改，才是大丈夫！”停了一下，又道：“有人开玩笑，说你是个‘不肖子弟’。此话在为师看来，虽无太大贬义，但也足以说明一些问题。须知世间万事，错综复杂，仅凭匹夫之勇，并不能完全解决。作为大侠，也还必须泛诵诗书，博览史籍，通天地阴阳之变，明古今治乱之理！”
祖逖听罢，肃然答道：“恩师放心，弟子一定不辜负恩师教诲！”
李阳微微一笑，道：“这样就好！”
祖逖一边练武，一边读书，如此过了3年。太康四年(283年)，祖逖18岁，文才武略均已大成。
这年六月的一天清晨，李阳忽然把祖逖召去，道：“你的武功颇有成就，同辈之中，恐怕已无对手，不久之后，必将青出于蓝，胜为师多多。士少和武会，资质较差，再随为师学下去，收获也不会很大。因此，为师决定辞官不做，重入江湖了。”
祖逖心中一惊，转而想到，恩师言出必践，决定的事，绝无回改的可能，便含着眼泪问道：“恩师准备何日动身？”
李阳答道：“就在明日。”
祖逖又问道：“那么，恩师是准备悄然离去，不与故旧话别的了。”因为李阳在幽州的故旧足有数百家之多，而且分居各郡国，仅用一天时间话别，显然是不可能的。
不料李阳答道：“在幽州这些年，蒙故旧多方照顾，话别之礼是不可省的，不过，有一天时间也就够了。”
祖逖不禁目瞪口呆，难以置信。过了一会，祖逖才想起还有话说，便道：“弟子不才，对今后道路选择，殊无把握。恩师此去，不知何日才能再见，尚望恩师临别赠言，指点迷津。”
李阳沉思良久，答道：“道路选择靠自己，为师不便指点。但须记住：君道贤明，吏治清廉，可以辅佐之。君道昏庸，吏治黑暗，可以清除之。国家有难，民族有难，可以舍身拯救之。”
祖逖跪下答道：“恩师教诲，弟子铭记于心，终生不忘！”
李阳扶起祖逖，道：“你也该出外走动走动了。本年十二月，当今天子准备在洛阳宣武观大阅，可以去看看，长长见识。”“大阅”是国家级的讲武阅兵，极为隆重，很多年才举行一次，的确不能错过。
祖逖连忙唱声“诺”。然后，师徒二人挥泪分手了。
出外走动，是祖逖多年来的夙愿。他准备先去翼州高阳国(在今河北高阳县附近)看望未来的妻子和岳父母，再到洛阳看望很长时间未曾见面的舅舅。
祖逖小时候，父亲就为他订了一门亲。对方许氏，出身冀州高阳国的名门。许氏的祖父许允，做过曹魏的中领军；父亲许猛，时官尚书吏部郎。这次看望他们，是遵母命与他们商量婚期。
祖逖的生母程氏，出身司州广平郡(在今河北广平县西北)的名门。程氏有兄弟三人，长名元良，次名卫，再次名收，都强正方严，操行出类拔萃。由于国都洛阳在司州境内，程家在司州也是望族，这兄弟三人内外仕宦均十分顺利。程元良时官司州阳平郡(在今河北大名县东)太守，程卫时官洛阳县令，程收时官尚书郎，在司州与洛阳颇有势力。这次看望他们，是因为与祖该，祖纳二个兄长积怨难解，想依靠他们的关系，把小家迁到司州来。
几天后，祖逖让祖约在家照顾生母，自己仅带一剑一马，疾然南下。
范阳与高阳，相距近二百里。祖逖马不停蹄，跑了整一天，才进入高阳郡界。这时人困马乏，只好找个小酒馆暂且歇歇。
刚进酒馆，就听见有人大声说道：“京师李大侠最近辞官归隐，仅用一天时间，就凭双腿跑了数百里地，与数百家故旧话别。这种功夫，咱们怎么连听也没听说过呀！”
祖逖至此方信恩师所言非虚，不禁暗叹，武学之道，实在深不可测，这种“陆地飞腾”的轻功，自己一辈子也恐怕学不会。想到自己以前学得一点皮毛，就要到处卖弄，不觉可笑。
进了酒馆，发现刚才说话的是个十四五岁的少年，面容十分熟悉，想是以前在哪里见过一样。那个少年见了祖逖，先是微微一惊，稍后长身窜出，来到祖逖面前，身手竟然非常矫捷。问道：“阁下可是逖兄？”
祖逖答道：“在下正是祖逖！”
少年喜道：“逖兄不认识小弟了？”
祖逖猛然醒悟，少年姓许名柳，字季祖，是许氏的胞弟，几年前曾随乃父许猛到范阳遒县祖家庄上作客，与自己见过面，便道：“唉呀！几年不见，柳弟快要长成大人了，难怪我不敢相认！令尊、令堂及全家可好？”年轻人脸皮薄，不敢问许氏的近况。
许柳却答道：“都好！都好！阿姊也好。”祖逖只觉脸上一热。
许柳又道：“咱家离这酒馆不远，一会就到。”说罢，扔下酒馆里的一班小兄弟，拉着祖逖就走。
许家庄倚山傍水，景色迷人。许猛夫妇见文武双修，仪表出众的未来女婿突然来访，自然无限欢喜。
许氏年方十六，妩媚动人，祖逖一见之下，也感到由衷高兴。双方商定，等祖逖从洛阳回后便完婚。
许猛夫妇执意要留祖逖在庄上多住些日子，祖逖见离十二月“大阅”之期尚早，也就欣然同意。
祖逖平时陪岳父母聊天，闲下来便在山巅水畔练习武功。许柳和他的一班小兄弟从小喜欢游侠，庄上曾请武师教他们练功，因而于武学都有点根基。
他们知道祖逖是“京师大侠”李阳的大弟子，就缠着要祖逖教他们功夫。
祖逖不便拒绝，教给他们一些剑术和武功心法。时间过得很快，转眼便到九月了。祖逖向岳父母辞行后，又一剑一马，向南而去。
祖逖快马加鞭，跑了三天，到了阳平郡，见到做太守的大舅程元良。
程元良见大外甥长得如此精神，大喜过望。
他听祖逖说，想把小家迁到司州来，便道：“此事自应包在大舅身上。阳平这地方不错，贤甥你看，把小家迁到这里来如何？”
阳平地处程家所在的广平的东南，二郡之间仅隔漳，清二水，相距不到百里。阳平风景优美，土地富饶，确是一个理想的侨居地。
魏晋时期，对人口迁徙有些限制，若把祖逖一家直接迁到广平，难免会给程氏三兄弟招来物议。而迁到阳平，不仅可以避免别人说三道四，由于距广平甚近，也可以间接得到程家的照顾。
祖逖当然明白这些道理，便道：“此事全由大舅作主！”
程元良道：“好！那么，大舅先在这里替你们买地盖宅。等贤甥从洛阳回来，诸事一定早已安排妥当，随时都可搬迁了。”事情商定之后，祖逖觉得很轻松，在阳平痛痛快快地玩了一个月，才向大舅告辞，继续南下。
这次心无挂碍，不用赶忙，阳平到洛阳六百里，足足走了六天。到洛阳后，祖逖很快见着做洛阳县令的二舅程卫，做尚书郎的三舅程收。
程卫、程收早就听说祖逖曾从“京师大侠”李阳学艺，武功颇有造诣，现在见祖逖文才也意外地不错，加上身材容貌超凡脱俗，均喜不自胜。
两人均道：“凭贤甥的才貌，舅舅的神通，还怕不能在京师出人头地？”第二天便带着祖逖去拜会朝中显贵。
开始，这些显贵对年轻的祖逖并不怎么重视。
一天，祖逖应邀去王敦家作客。王敦字处仲，小名阿黑，徐州琅邪国的巨族。尚武帝女襄城公主，官驸马都尉。位高势显，兼有一身武功，从未把任何人放在眼中。一见祖逖，便嚷道：“听说阁下是‘京师大侠’的弟子，武功不凡，敢与我比剑么？”
祖逖何曾受过如此轻视，禁不住生起气来，道：“不管阁下愿意比什么，在下都一定奉陪！”两人就在王家花园里拉开了架式。
闻声前来观战的皇亲国戚、高官显吏不计其数。大家都以为会有一番好斗。谁知王敦在祖逖的剑下还未走到三招就败了，而且败得十分之惨。
王敦倒还有些度量，狂傲之气尽收，对祖逖的武功大为赞叹。然而祖逖却对王敦没有什么好印象。比剑之事传开，祖逖的名声在京师大噪。齐王司马攸、陇西王司马泰等晋室宗亲均认为祖逖有赞世之才。司马攸命其子司马罔，司马泰命其子司马越、司马略、司马模与祖逖结交。
十二月五日，武帝果然亲临宣武观“大阅”。
祖逖由诸公子王孙簇拥着，坐在贵宾观礼席上，分外引人注目。祖逖并非存心出此风头，而是坐在这里，要比别人看得仔细，听得清楚。十万禁军的整齐操练，使他对练兵之事有深入的了解。老将王浚、唐彬的讲演武事，对他更有启发。他蓦地产生一个念头：如果有一支可以由自己支配的军队，来施展自己纵横挥阖的军事思想就好了。
太康五年(284年)春，祖逖把迁居和完婚两桩事一齐办了。祖该，祖纳二个兄长仍然留在范阳，祖逖和生母程氏、胞弟祖约、妻子许氏在阳平安了家。
东汉规定：地方长官察举本地人才，侨居者不在察举之列；侨居久者，已变侨地为本贯，方可察举。魏晋相承不改。祖逖侨居阳平之初，是不能察举的。
直到太康十年(289年)，祖逖24岁，阳平郡才辟察祖逖为孝廉。祖逖认为自己本是有名的“不肖子弟”，有负“孝廉”这个称号，拒而不受。
不久，司州又辟举祖逖为秀才。祖逖认为“秀才”这个称号与自己的志向不合，又拒而不受。
太熙元年(290年)春，地方推荐祖逖任司州主簿。当时，司州由于地辖京畿，首长不称刺史，称为司隶校尉。司州主簿作为司隶校尉的高级秘书，六品，地位高于一般州主簿。祖逖不便再拒绝，就告别家人，到司州的治所京师洛阳上任了。
司州地辖京畿，事务繁多，主簿不止一人。与祖逖同时任司州主簿的还有一个年仅二十的青年。这个青年姓刘名琨，字越石，冀州中山国人，汉中山靖王刘胜之后。少年时代也好游侠，曾从名师学艺，剑法十分高明，与祖逖在伯仲之间。
祖逖与刘琨志趣相投，自然一见如故，日则同锅共食，夜则同被共寝，有如亲兄弟一般。
当时有品评人物的风尚，祖逖评刘琨为“偶朗”，刘琨评祖逖为“朗诣”，意思相差不远，朝野名流则目二人为“京师二侠”祖逖就任司州主簿这年四月，武帝死，子惠帝即位。
惠帝是个不知饥饱、不辨寒暑的白痴，朝廷大权全由外戚杨骏包揽，杨骏是武帝的皇后杨芷之父，资历甚浅，奉武帝遗诏辅政，唯恐朝野不服，遍树亲党，广揽权利，颇遭物议。惠帝的皇后贾南风，是个有名的泼妇，委屈地嫁给一个白痴，便是想仗着乃父贾充是本朝开国元勋，党羽遍布朝野，过过专权的瘾。
如今杨骏掌权，使自己的夙愿难以实现，贾南风如何不恼火！永平元年(291年)正月，贾南风考虑惠帝的叔祖父汝南王司马亮与自己的父亲贾充私交甚好，且曾受杨骏的排挤，拥重兵镇守许昌，就密召司马亮举兵入京讨杨骏。
司马亮为人奸猾，只想坐收渔利，不想亲自冒险，拒绝讨杨。
贾南风没有办法，便派人与惠帝的弟弟楚王司马玮商量。
司马玮有胆无识，身在荆州，心向洛阳，连忙同意。二月，贾南风矫诏调司马玮回洛掌管禁军。三月八日夜，司马玮奉贾南风旨意发动政变，杀死杨骏，收其党书，诛三族，凡死数千人。
杨骏死后，宗室威望最高的司马亮，元老硕果仅存的卫瓘，为众望所归，理所当然地共执朝政。
贾南风辛苦一场，却是为人作嫁，只觉得怒火万丈，难以平息。
六月，贾南风假惠帝手诏，司马玮再次发动政变，杀掉了司马亮和卫瓘。司马玮居功自傲，妄想执掌朝政，与贾南风闹起矛盾。同月，贾南风以擅杀大臣罪，把司马玮杀死。
自此，朝廷大权全部落到贾南风手中。贾南风让族兄贾模为侍中，掌门下封驳诏令之权，让从舅郭彰为右卫将军，掌管禁军，其他亲党也均有职位安排。贾氏家族的权势，一夜之间便达到炙手可热的程度。
贾充的养孙贾谧，无才无学，唯一的长处是善于招宾纳客，门下聚集了不少名士豪侠。
刘琨在权利的诱惑下，与乃兄刘舆也投靠了贾谧。他俩与石崇、欧阳建、潘岳、陆机、陆云、缪世微、杜斌、挚虞、诸葛铨、王粹、杜育、邹捷、左思、崔基、刘環、和郁、周恢、牵秀、陈胗、郭彰、许猛、刘讷等佼佼者结成所谓“二十四友”，为贾谧出谋画策。
他们不是在贾谧的府中高淡阔论，就是在石崇的金谷别墅里饮酒赋诗，简直无忧无虑，过着神仙一般的生活。
一些趋炎附势之人，巴结贾谧不上，纷纷与“二十四友”结交，希望得到贾氏家族的庇护。面对贾氏家族如日中天的权势，祖逖表现得异常的冷静。他感觉到一场政治大风暴正在酝酿之中。
因此，他不接受贾氏家族成员的任何邀请，也拒绝任何贾氏家族成员上门作客，甚至与刘琨及岳父许猛也渐渐疏远，有时间他只悄然回阳平探望家人。他已有二个儿子和一个女儿。大儿子名沛，二儿子名涣。他教儿子读书习武，想把儿子也培养成文武全才。就这样，不知不觉地过了八九年。
惠帝元康九年(299年)十二月上旬的一天深夜，祖逖正在洛阳官邸挑灯读书，忽然听到一阵急促的敲门声。开门一看，是多年未曾见面的刘琨。
刘琨面容疲倦，神色紧张，问祖逖道：“逖兄，小弟想回邸来住，不知可否？”
刘琨本与祖逖合住一邸，投靠贾谧后，才从这里搬出去，现在愿意搬回来，祖逖自然不便拒绝。
祖逖答道：“当然可以！”
刘琨进邸后，祖逊问道：“琨弟，到底发生了什么、事？”
刘琨长叹一声，道：“小弟年轻识浅，贪图一时的荣华富贵，投靠贾家，直到现在才看出前途的凶险，实在感到惭愧！”原来，惠帝的太子司马遹，为谢才人所生，贾南风以非己出，深恶之。
司马通从小聪明，善于分辨是非善恶，对贾氏家族专制朝政也深为不满。贾谧目中无人，常大模大样地去太子的东官游玩，司马遹看不惯，言语之中，多有顶撞。
贾谧从未受过别人的气，便到贾南风那里告司马遹的状，并编造谎言，说司马遹想矫诏废掉贾南风的皇后之位。贾南风自然大怒，与本家族成员商量，打算先发制人，就在这个月的下旬，废掉司马遹的太子之位。诸宗室王公本来就对贾氏家族极端不满，只是一时找不到发动兵变的好的借口，现在听说贾南风要废太子，无不心中暗喜。
没人想阻止贾南风废太子，没人能阻止宗室王公发动兵变，一场大的政治动乱自然无法避免了。宗室王公大多手握重兵，贾氏族所控制的只有白痴天子，可以说，未经较量，已知胜负。作为贾氏家族的朋党，要想在这场即将到来的政治动乱中保全自已，只有尽早与贾氏家族脱离关系。
刘琨离开贾谧，回到司州官邸，便是出于这种考虑。祖逖听到这里，不禁热血沸腾，道：“琨弟迷途知返，惠兄深感高兴！常盲道：乱世造英雄。惠兄在司州主簿任上，逗留将近十年，早有寂寞之感。如果四海鼎沸，豪杰并起，未尝不是好事，惠兄正可与琨弟在中原干一番事业！”
自此之后，风声日紧。一天半夜，祖逖与刘琨同被共寝，忽然听到鸡叫。祖逖踢醒刘琨，道：“半夜鸡叫，恐非恶声！”当时认为，半夜鸡叫，必有兵乱，流血滂沱。祖逖此语，意思是：天既示警，让世人有所准备，并非坏事。刘琨自然明白此语用意。
二人一跃而起，提剑出户，相对而舞。但见剑气散开，树枝纷纷断落。旷野之中，仿佛有一个声音在徘徊：动乱快来吧！我们已经作好了准备。
元康九年(299年)十二月三十日，贾南风终于废太子司马遹为庶人，囚之于洛阳城外的金墉城。永康元年(300年)三月二十二日，贾南风矫诏将司马遹害死。四月三日，惠帝的另外二个叔祖父梁王司马肜，赵王司马伦发动兵变，废贾南风为庶人，先囚之于金墉城，旋即矫诏赐死。贾氏家族及朋党被捕杀数千人。司马肜无德无才，大权落到司马伦手中。
赵王司马伦也是一个庸人，仅因为亲信孙秀较有谋略，才显得比梁王司马肜高出一筹。
司马伦不能管事，唯孙秀马首是瞻。孙秀官瘾很大，想当名符其实的宰相，便劝司马伦篡位当皇帝。
永宁元年(301年)正月九日，司马伦篡位称帝；十日，迁惠帝于金墉城，号太上皇。三月，继封齐王司马同起兵讨伐司马伦，惠帝之弟常山王司马父、成都王司马颖及宗室河间王司马顺等起兵响应。四月，联军攻入洛阳，尽诛司马伦，孙秀及其党羽，迎惠帝复位。六月，司马同以功进升大司马，都督中外诸军事。
齐王司马同曾与祖逖结交，很欣赏祖逖的武功，特别调祖逖为大司马府掾属。同时调为大司马府掾属的还有39人，均是近年来有名的侠士。掾属本是大司马的佐官，司马囧却让他们作自己的私人卫士。
祖逖事后得知，很不满意。司马同骤得高官，十分骄恣，听不得不同意见，使朝野非常失望。
祖逖则不仅失望，更生反感，经常盘算脱身之计。同年七月，常山王司马乂复封长沙王，拜骠骑将军，给了祖逖脱身的机会。
长沙王司马乂开朗果断，年轻好侠，久仰祖逖的文才武功，常以未能结交为憾。
一次拜会司马冏，见祖逖在冏宅外面仗剑巡视，司马乂急忙上前，长揖叹道：“逖兄大材，却替人作卫士，小弟深感惋惜！”祖逖默然不语。
司马乂环顾左右，见无人偷听，又道：“逖兄如果愿意来小弟府中，助小弟一臂之力，小弟将喜不自胜！”
祖逖沉吟片刻，道：“祖逖不才，蒙大王厚爱，深感荣幸！可惜祖逖已经侍奉齐王。此事虽合祖逖心意，祖逖却作不了主。”
司马乂笑道：“只要逖兄愿意，小弟自有办法。”
司马冏是司马乂的堂兄。司马乂见到司马囧，佯问道：“小弟刚才在同兄宅外见到一名卫士，似乎武功不凡，不知此人是谁？”
司马囧颇为得意地笑道：“乂弟太孤陋寡闻了！此人乃京师大侠李阳的高足，曾经名噪一时的祖逖呀！”
司马乂佯惊道：“哦，原来是祖逖！冏兄门下真是藏龙卧虎，象祖逖这样的人都只配当卫士，实在令人羡慕。”
司马冏面呈骄色道：“能在愚兄门下当卫士，就很抬举他了。”
司马乂正色道：“既然冏兄门下豪杰甚多，小弟想借祖逖作家庭武师，不知可否？”
司马冏牛皮吹得太过，想拒绝已无理由，只好装作不在乎的神态，道：“自家兄弟，说‘借’未免见外，父弟既然需要，带去就是了。”
司马乂委任祖逖为骠骑将军府祭酒。不久，又转祖逖为骠骑将军府主簿。
齐王司马冏在洛阳城里作威作福，引起宗室王公的不满。
太安元年(302年)十二月，河间王司马順上表，指责司马冏窥伺神器，有篡位之心，联合成都王司马颖、新野王司马歆、继封范阳王司马战等，拟同会洛阳，请废司马冏。
长沙王司马乂平时与司马冏关系较好，见形势不妙，担心自己会受池鱼之殃，惶恐不安。
范阳王司马忧是祖逖的师弟，派人深夜送信到洛阳，请祖逖为内应。祖逖痛恶司马冏的所作所为，又知司马乂此时的心境，便向司马乂进言道：“识时务者，方为俊杰。齐王多行不义，咎由自取。大王如能反戈一击，天下当谓大王为国为民，以公废私。”
司马乂考虑良久，终于下定决心，对祖逖道：“逖兄高见！反戈之事，一切由逖兄安排。”
祖逖让司马乂屯军洛阳南止车门，阻司马囧逃窜之路，命大将宋洪等放火烧诸观阁及千秋，神虎等门，制造混乱，自己率一支精悍分队直捣大司马府，经过激战，将司马囧擒获。
司马乂立斩司马窘以谢天下。同党因牵连被诛者多达二千余人。司马乂以功升为太尉，都督中外诸军事。祖逖也由骠骑将军府转到太尉府继续供职。
齐王司马囧当政时，以东宫无人，曾奏立惠帝之弟清河王司马遐之子司马覃为太子司马覃是一个不到十岁的小儿，无知无识，又逢动乱，朝臣深以教育与安全为忧。司马乂代司马囧总理国务，为了表示自己对国家忠心，太安二年(303年)春，忍痛推荐祖逖为太子中舍人。
祖逖在任太子中舍人之初，事务较少，有充分的时间分析形势。他知道，一个白痴当皇帝，于国于民均无希望可言，人人都想取而代之。
司马乂有此野心自不待言。成都王司马颖积极礼贤下士，收买人心，胸怀甚大。河间王司马顒雄踞关中，兵强马壮，必不肯居人之下。此二人迟早要与司马乂展开一场逐鹿之战。其它宗室王公也都虎视眈眈，妄图分得一杯鹿羹。
这样一来，雍、豫，司、冀诸州，都将变为战场。
分析至此，祖逖忽然想到，老母及妻儿住在阳平，兵荒马乱，无人照顾，极为不妥。怎么办呢？洛阳是动乱之源，让她(他)们来洛阳随自己一起住，情况只会更糟。
正焦虑间，胞弟祖约以孝廉改授司州河南郡成皋县(在今河南荥阳县汜水镇西)的县令，前来辞行，使祖逖有了主意。
成皋在洛水、黄河南畔，虽为兵家必争之地，但也为交通便利之津，一旦发生战事，东可顺河直下青，齐，西可顺洛直上京师。于是与祖约商定，立即派人把老母及妻儿护送到成皋，由祖约暂时看护。此事处理完毕，祖逖就心无挂碍了。
这年八月，成都王司马颖、河间王司马顒果然向长沙王司马父举起问罪之旗。司马颖的大将牵秀、石超出身行伍，熟悉战阵，司马顒的大将张方原为河间怪侠，骁勇善斗，更难对付。
司马乂挟惠帝、太子出征，一战而败，仓皇北逃，洛阳失守。
祖逖随太子在军中，由于本身已负重责，不能助司马乂征战，便向司马乂建议道：“二王之中，河间兵力最强。雍州刺史刘沈，为人忠义，如能请他偷袭河间老巢长安，河间只能回师援救，眼前之困则自然可解。”
刘沈字道真，幽州燕国人，与祖逊有乡里之祖，故祖逖知之甚深。司马乂对祖逖绝对信任，当然同意，连忙请惠帝下求救诏，派人星夜送给刘沈。刘沈接到诏书，立即发兵攻打长安。
司马顒屯兵郑县高平亭，为张方军声援，闻长安告急，挥师回救。刘沈以逸待劳，大败司马顒。
司马顒退入长安，胆战心惊，急召张方回援。张方不得已，分军一半，令赴长安解围。十月，司马乂回师南下，大败二王联军，收复洛阳。
祖逖临敌不乱，有大将之风，令随军出征的惠帝之弟豫章王司马炽由衷软佩。回洛阳后，司马炽假惠帝手诏，把祖逊调到自己的豫章王府当从事中郎。
朝廷以司马乂、司马颖兄弟相煎，为国家大不幸，派中书令王衍、光禄勋石陋进行调解，劝乂、颖分陕而居，停止争斗。颖自恃实力日增，予以拒绝双方相持期间，洛阳缺粮，人心惶惶。永兴元年(304年)正月，禁军发动叛乱，拥东海王司马越为主，囚司马乂于金墉城，迎二王联军入城。
司马一被张方极为残忍地杀害。三月，二王逼惠帝废太子司马覃，立司马颖为皇太弟，委司马顺为太宰。司马颖屯驻魏郡邺城（在今河南安阳市北），监视洛阳；司马顒留守长安，遥控朝政。
惠帝虽然愚昧，但也有短暂清醒的时候，对诸弟凌逼自己十分不满。七月，司徒王戎、东海王司马越、高密王司马略、平昌公司马模、豫章王司马炽、吴王司马晏、东安王司马繇、琅邪王司马睿、裹阳王司马范、右仆射荀藩等簇拥着惠帝，北征司马颖于邺城。
十余万大军浩浩荡荡，可惜众心不一，进至荡阴（今河南汤阴），与司马颖大将石超遭遇，一战而溃，除了司马越、司马略、司马模三兄弟逃脱外，惠帝及其他诸王公都成了俘虏。本来，祖逊凭借自己的武功和轻功，完全能够突围远遁，但由于担负保护豫章王司马炽之责，也只好随司马炽一起进了司马颖的战俘营。
在战俘营里，祖逖结识了琅邪王司马睿。司马颖战胜之后，为了立威，公开杀害了司马睿的叔父东安王司马繇。司马瑞唯恐祸将继及，连夜找祖逖想办法。祖逖道，“三十六计走为上！”
司马睿仰望一轮皓月，叹道：“月明如此，禁卫又严，哪里走得出去！”
祖逖笑道：“祖逖不才，粗通天文，算准一个时辰之后，必有云雾雷雨。届时卫士定会分散避雨，禁微一弛，大王就可脱身而去了。有顷，一切均如祖逖所料。司马睿知道祖逖不会抛弃豫章王与自己同走，便道：“中原板荡，已难收拾。江南物产丰富，大有开发前途。小王此去，拟集合豪杰，开发江南。逖兄倘若有意，度此厄后，万望到江南一聚！”
祖逖点点头，表示同意。司马睿轻松地出了战俘营，在云雾雷雨的掩护下，逃回了洛阳。
这年八月，安北将军王浚、东赢公司马腾为营救惠帝，邀乌丸铁骑夹击司马颖，大败颖军于邺城下。
司马颖押着惠帝及诸王公狼狈南下，刚渡河就落到张方手中。张方把司马颖也当俘虏囚禁起来。在洛阳住了二个月，张方押着惠帝及诸王公西去，十一月抵长安。十二月，河间王司马顒假诏废司马颖皇太弟之位，立豫章王司马炽为皇太弟。为了笼络关外诸王公，司马顒又假诏以东海王司马越为太傅，与自己夹辅惠帝；以高密王司马略为镇南将军，司隶校尉，权驻洛阳；以平昌公司马模为宁北将军，屯守邺城。
祖逖通过几年来的风云变幻，对宗室王公只知道争权夺利越来越反感，对不断受人利用的仕宦也越来越厌恶。
司马炽荣升皇太弟，仍想把祖逖留在身边，祖逖递上辞呈，坚决不干。司马颙为防人才外流，禁卫甚严，辞官不做的人也不许随便离开长安。
祖逖无事，只好整天在长安城里闲逛。永兴二年(305年)正月的一天，祖逖在长安街上遇到一个从成皋来的商人，说祖逖的生母程氏刚在成皋病故了。祖逖心中大痛，当晚仗剑闯出长安城，直奔成皋而去。
范阳王司马城、高密王司马略、平昌公司马模听说祖逖从关中东归，竟相召请，祖逖均坚辞不就。东海王司马越请祖逖为典兵参军，济阴太守，祖逖也以母丧为由而谢绝。祖逖回到成皋，与家人一起就地安葬了母亲。祖逖决心在母亲墓旁守孝三年，静观时局变化。
几年间，时局不仅未见好转，反而更加恶化。
匈奴刘渊已在左国城（在今山西离石县东北)称王，建国号为汉，准备南下，参加中原逐鹿，而晋室王公，仍不知死活，争斗不休。
永兴二年七月，东海王司马越联络其弟高密王司马略、平昌公司马模及范阳王司马虎、成都王司马颖故将公师藩、幽州都督王浚所统鲜卑、乌丸铁骑，以河间王司马顺、张方劫持惠帝为由，大举西征。
司马顒大惧，放掉了成都王司马颖，使还镇邺城，欲分裂联军，然而联军不为所动。十月，司马顒让张方为大都督，统军十万东征。张方狂傲，不听使唤，屯军霸上，盘桓不进。
司马顒大怒，光熙元年(306年)正月，用计杀掉张方，将其首级送给司马越，以求和解。殊不知联军所惧仅张方一人，见张方已死，反无顾忌，鼓噪而西，日行数百里，直抵长安。
司马顒吓得单骑逃到武功县的太白山。六月，联军迎惠帝及诸王公还洛阳。八月，司马越以太傅、隶尚书事总理朝政。十月，镇守邺城的司马虓病死。虓手下长史刘舆恐被囚在邺城的司马颖趁机兴风作浪，伪撰诏令将颖杀死。刘舆向司马越推荐其弟刘琨为并州刺史，以抗刘渊。
十一月，惠帝食饼中毒死，皇太弟司马炽即位，是为怀帝。十二月，司马越召司马顒为司徒，顒东行至新安，被刚由平昌公升为南阳王的司马谟杀害。
怀帝永嘉元年(307年)二月，东莱人王弥起兵，攻青、徐二州，长广太守宋罴、东牟太守庞伉死难。
三月，刘渊侵陷并州，刺史刘琨独守晋阳（今山西太原）孤城。公师藩死，四月，故将汲桑起兵，以替司马颖复仇为名，派羯人石勒为先锋，攻打邺城。五月，邺城陷落，留守东燕王司马腾殉难。七月，司马越以琅邪王司马睿为安东将军，都督扬州、江南诸军事，镇守建业（今江苏南京）。
当时所谓三年之孝，实仅25个月。永嘉元年七月，祖逖服除，听说司马睿开始经营江南，不禁感到振奋。中原烽火，越烧越旺，决非久留之地，祖逊作好了渡江投奔司马睿的思想准备。但他知道，战乱之中，跋涉数千里到人地生疏的江南，并非一件简易的事。如果没有足够的实力，别说能否得到司马睿的重视，在江南觅得一块生存之地，就是这水陆数千里行程，盗匪猖獗，也休想平安跋涉过去。
于是，祖逖在成皋树起召募豪杰的大旗。首先应召的是受过祖逖接济，对祖逖存有好感的范阳祖氏亲党，共有百家之多。接着，范阳豪侠李产也率领一大批李氏亲党投奔了祖逖。
妻弟许柳也从高阳来到成皋。精通各种武艺的中原游侠，如董昭、卫策、韩潜、冯铁、陈超、殷义、王愉、蔡豹、童建等，也慕祖逖之名，先后归附。
有个姓王名安的少数民族侠客，对祖逖极为敬佩，想投奔祖逖，又恐祖逖以为异族而不留用，干脆卖身祖家为奴。就这样，不到几个月，祖逖有了一支由数百家，几千人组成的精悍队伍。
祖逖正准备率领队伍撤退时，接到东海王司马越的公函，委任祖逖为豫州汝南郡(在今河南息县一带)太守。祖逖召集群侠，商量去留问题。
李产大声道：“东海王让琅邪王经营江南，自己已有退意，咱们留下来干什么？”
蔡豹是兖州陈留人，道：“如果让逖兄当陈留太守，留下来倒不碍事。”
董昭、卫策、韩潜、陈超等豫州游侠则道：“狐死首丘。留下来人地两熟，总比去异乡作异客要妥当得多！”
冯铁、殷父等游侠道：“咱们既奉逖兄为主，去留问题自应由逖兄定夺！”
大家均道：“当然！请逖兄示下。”
祖逖目射精光，朗朗道：“国难当头，大家务须同心同德！当前形势，错综复杂，难以逆料。汝南背靠长淮，进可直抵河、洛，退可顺流到达徐、扬，地方不错。咱们先到汝南暂避战火。去留问题，等到汝南之后再定！”
大家齐声道好。于是，祖逖为“行主”，命令健壮者均步行，老弱疾病乘车马，即日向汝南行进。一路上，祖逖与大家同甘共苦，药物衣粮均与大家共同享用，威望越来越高。一个月后，到达淮水之畔的汝南。祖逖将人马安顿妥当，一边派人造船，一边派人去洛阳打探消息。
这年八月，抚军将军苟晞大败汲桑于邺城。十月，石勒见汲桑土崩瓦解，便投靠刘渊，渊封勒为平晋王，令率部侵扰中原。十一月，司徒王戎见形势不妙，以弟王澄为荆州都督，族弟王敦为青州刺史，预备退路。永嘉二年(308年)正月，刘渊之子刘聪攻占太行要塞，石勒侵扰冀州。三月，王弥攻掠青、徐、兖、豫四州。四月，占领许昌，五月，兵抵洛阳，京师大震。
祖逖得知以上消息，认为中原大势已去，便率领队伍，于永嘉二年六月，乘船顺淮东下，七月，到达徐州广陵郡淮阴县(今属江苏)的泗口。琅邪王司马睿听说祖逖带了一支精悍的队伍到了泗口，大喜过望，急忙派人向朝廷请求，委任祖逖为徐州刺史。
徐州原治彭城国的彭城县，因祖逖之故，改治淮阴县。当时规定，刺史带兵者可依军府例自辟武职官吏。祖逖以李产为长史，蔡豹为司马，董昭、陈超为督护，卫策、韩潜、冯铁、童建等为将军，殷父、王愉为参军，许柳为从事中郎，命令他们抓紧训练兵马，贸易粮草，以备非常。
一天，祖逖正在官衙批阅公文，卫士报告，说有几个中原难民想拜见刺史。
祖逖急忙迎出，见是侨居阳平时的邻居，一个人衣衫槛楼，面呈菜色。
他们见到祖逖，均泣不成声，诉说遭遇。原来，王弥进攻洛阳，被凉州刺史张轨派来的河西勇士击败，走投无路，降附了刘渊。刘渊先得石勒，再得王弥，实力大增。王弥、石勒奉刘渊之命攻围邺城，侵扰阳平，助桀为虐，作恶更甚。
朝廷守军经“八王”内讧之后，实力减弱，斗志消沉，无法与之抗争。老百姓无所寄托，只好昼伏夜行，纷纷南逃，所受磨难，真可谓一言难尽。他们几个人在南逃途中，多次遭到盗匪袭击，财物尽被劫走，连身上的亵衣也被剥去；后来拣了几件别人扔掉的破衣烂衫裹住身子，吃草根啃树皮，好不容易才混到淮阴。
祖逖听了，胸中怒火顿起。安顿了他们之后，祖逖苦苦思索：自己应该如何行动？
祖逊对宗室王公的自相残杀是深恶痛绝的。跋涉数千里的所谓避难，避的就是宗室王公的内江之难。但现在情况已经有了变化。宗室王公的内讧似乎告了一个段落，代之而起的是汉民族与匈奴等少数民族的争斗。对于宗室王公的内讧，普通老百姓无能为力，也可以不管；对于匈奴等少数族的外患，作为一个汉人，却不能坐视。国家兴亡，匹夫有责！祖逖决定重返中原，与异族强敌作一番较量，然而正在此时，祖逊接到琅邪王司马睿的紧急调令。
原来，司马睿初镇建业，江南豪强均表不服，三吴（吴郡、吴兴、会稽）大姓尤其傲慢。吴郡顾荣闭门不出，会稽孔愉躲进深山，均拒绝与司马睿照面。头面人物态度如此，土匪地痞就更加嚣张，三吴地区随时可能发生一起矛头指向北方侨民的暴乱。
从三吴到建业，必经长江南岸的京口（今江苏镇江）。为了确保建业的安全，司马睿只好急调祖逖为自己镇东大将军府的军咨祭酒，使镇守京口。军令如山。祖逖虽然满肚子不愿意，也只好暂时服从军令。永嘉三年(309年)正月，祖逖率领队伍，由淮阴南下，渡过长江，来到京口。
三吴大姓、江南豪强听说大侠祖逖镇守京口，均心怀畏惧，不敢放肆。司马睿在琅邪王导的辅佐下，放心地经营江南，渐渐收到成效。青州刺史王敦是王导的从兄，到建业来探望王导，司马睿如获至宝，连忙留下，先用为本府军咨祭酒，不几天又用为扬州刺史。琅邪王氏为北方巨姓，敦，导兄弟为士流冠冕，他们二八商定，要利用自己的名望，为司马睿立威。
三月上巳那天，根据风俗，要到水滨洗濯，清去宿垢，祓除不祥，称为“禊”；携饮食到郊外宴饮，称为“禊饮”。
司马睿乘肩舆，具威仪，出门观禊。王敦，王导等北方名流以骑相从，前呼后拥，执礼甚恭。南方士族首领顾荣，纪瞻、周已、贺循、孔愉等本来躲在远远观看，一见司马睿八面威风，有如天子出行，均大惊惧，慌忙上前，拜于道旁。从此，司马睿的地位得到江南豪强的承认。
在司马睿一心一意经营江南的同时，中原晋政权已到生命的最后关头。永嘉二年十月，刘渊称帝，命令其子刘聪，族子刘曜及石勒，王弥等分兵大举入侵。
永嘉三年三月，京师禁军将军朱诞投降刘渊，献计道：“洛阳孤弱，可一攻而下。”十月，刘聪，刘曜、王弥等围攻洛阳，被守军拚死击退。永嘉四年(310年)七月，刘渊死，刘聪继位。十月，刘曜，王弥，石勒再次围攻洛阳。十一月，东海王司马越以讨石勒为名，率20万大军出走许昌，洛阳空虚。永嘉五年(311年)三月，怀帝痛恨司马越专擅，临危脱逃，密诏大将军苟晞讨司马越。越闻信，忧愤而死，王衍代领其军。四月，石勒追王衍等至梁国苦县，王衍及王公将士十余万人，接战不利，全部遇难。六月，刘曜、王弥、石勤合兵洛阳，怀帝被俘，洛阳也被焚为灰烬。
祖逖在京口，无日不为中原局势担心，听说怀帝被俘，一气之下，只身跑到建业，找到司马睿，慷慨陈辞道：“晋室之乱，并非由于君主无道，人民叛变，而是由于藩王争权，自相残杀。戎狄乘隙，侵略中原，导致君主被虏，社稷倾覆。今天下尽遭戎狄蹂躏，遗民思本，多有奋击之心，只是无人能主其事。大王若能振臂号召，大举北伐，祖逖庸劣，愿为前驱。上为国家雪耻，下为万民请命，郡国豪杰必然响应，沉溺黎庶必然踊跃，洒扫中原，收复寰宇，此千载一时之机会。请大王三思！”
司马睿默然不等，半晌才道：“小王初镇江南，辟掾属百余人，人称‘百六掾’。‘百六’者，厄运之谓也。证明小王无日不为国难揪心。现在江南未定，士卒疲钝，大举北伐，谈何容易！逖兄大才，小王寄托甚殷，暂驻京口，已然隐若长城，何惧没有用武之地！国家大事，要须妥当，小王自有主见，逖兄不必多虑。”祖逖知道司马睿毫无北伐之意，愤然回到京口。
永嘉五年(311年)八月，刘聪之子刘粲攻陷长安，南阳王司马模遇难。九月，大将军苟晞举兵讨石勒，大败，与豫章王司马端并没于阵。十月，石勒扫荡豫州，直抵长江北岸。司马睿大为惊慌，永嘉六年二月，传檄四方讨伐石勒，同时命令部下加强长江南岸的防守，不派一兵一卒过江。永嘉七年正月，刘聪在平阳(在今山西临汾西南)大宴庆功，令怀帝青衣行酒。被俘晋臣见此情景，均大哭。刘聪恶之，二月一日，将怀帝杀死。四月，怀帝遇难消息传到收复不久的长安，南阳王司马保、雍州刺史麴允等拥怀帝兄吴王司马晏之子秦王司马邺为帝，是为愍帝。改永嘉七年为建兴元年。五月，江南得悉怀帝死、愍帝继位消息，司马睿宣布奉建兴年号，改建业为建康。
祖逖得悉怀帝死讯，不禁悲从中来，大哭了一场。怀帝为豫章王时，祖逖任王府从事中郎，二人朝夕相处，患难与共，长达1年有余，情谊自非泛泛可比。将士见主帅如此悲伤，也都觉得难过。董昭嚷道：“琅邪王不北伐，咱们北伐！咱们不是琅邪王的嫡系，要走便走，怕他作甚！”
韩潜也嚷道：“昭兄说的是！腿长在咱们自己身上，今夜就走，看谁敢管！”
王愉较为冷静，道：“诸兄虽然说得有理，但这万里长江，所有渡船均由琅邪王管理，没有征得他的同意，别说北伐，恐怕连江也无法过去。"
大家一听，都觉泄气。祖逖止住泪，在一旁听大家议论已经多时，这会站起，冷冷道：“要走也非难事，只是有累诸兄陪祖逖在千载之下背个恶名！”
大家均道：“咱们只管眼前，谁顾身后！主师肯有脱身良策，请说给咱们听听。"祖逖如此这般一说，大家齐声道好。
当时扬州大饥，民不聊生，而南塘土著富豪却拚命居积，以谋暴利。
司马睿及诸北方士族，为笼络计，尽管整天挨饿受冻，也不敢向那些土著富豪征索衣粮。
可是有一天，一批武功高强的蒙面人，突然来到南塘 ，把土著富豪家里的财物洗劫一空。
案子报到建康琅邪王府，司马睿大为震怒，立即命扬州刺史王敦去侦办。王敦由于职掌关系，早就得到确切消息，道：“此案已经清楚。青天白日敢行抢劫，除了祖逖和他那帮游侠弟兄，谁有这么大的能耐！”
司马睿听说是祖逖，不禁两眼发直，暗道难办。抛开祖逖于自己有救命之恩不说，祖逖的那帮游侠弟兄桀骜不驯，是谁也惹不起的。
司马睿想了一下，对王敦道：“祖逖治军甚严，怎会发生如此之事？想必是骤逢饥荒，不得温饱，出于无奈吧！敦兄应去劝劝祖逖，请他对部下严加管束，此类事情务必不能再发生了！”
王敦对祖逖畏之如虎；不敢答应这个差事，便道：“王敦脾气不好，恐与祖逖冲撞，误了大事。从弟丹杨太守王导，镇东大将军府西曹掾庾亮，温和健谈，可以办好此事。”
司马睿道：“这样也好。”
王导、庾亮身穿破衣来到京口祖逖官宅，见祖逖及其卫士、奴仆均身着新衣，头戴新帽，宅内堆放着许多裘袍珠宝。王导佯问道：“逖兄真有本事！哪里弄到这么多的财物？”
祖逖哈哈一笑，神气活现地道：“靠老本行弄到的。”
王导问道：“什么老本行？”
祖逖道：“劫富济贫！”
庾亮装作不信的模样，道：“逖兄说笑话了。大灾之年，象我辈也均靠典当度日，哪里还有富豪！”
祖逖笑道：“亮兄真是健忘，南塘的富豪不是多得很么？”
庾亮佯惊道：“唉呀！逖兄，南塘的劫案真是你干的呀！如此，未免太鲁莽了。”
祖逖装着不懂，问道：“有何鲁莽可言？”
王导道：“雨塘的富豪，都是江南豪强的头面人物，咱们如今寄人篱下，得罪不起呀！”
祖逖满不在乎地道：“如今得罪了，他们又能把我怎么样？”
庾亮正色道：“只要逖兄以后不再干，咱们想办法大事化小。”
祖逖冷笑道：“我可以不再干，但我手下这帮弟兄，我可管不住！一回生，二回熟。他们在这里尝到了甜头，大概不会善罢甘休吧！”
王导，庾亮见难以商量，颇为失望，匆匆回建康向司马睿汇报去了。
这年五月，愍帝仿周、召二公分陕夹辅之制，拜司马睿为侍中、左丞相、大都督陕东诸军事，南阳王司马保为右丞相、大都督陕西潮军事。
七月，愍帝派殿中都尉刘蜀至建康，命令司马睿立即率精兵20万，北上中原。司马睿向愍帝奏称“江南未平，无暇北伐”，竟然拒不出兵。王导劝道：“完全不出兵，未免有违君命。”
司马睿道：“你说怎么办？”
王导道：“就让祖逖和他那帮弟兄去吧，既可遂他的心愿，又可避免他那帮弟兄给咱们惹麻烦。”
司冯睿道：“这样好虽好，只是祖逖是个人才，我真有点舍不得。”
王导道：“丞相可把祖逖的胞弟祖约辟为相府掾属，留在身边作人质。祖逖与祖约极为友爱，北伐不利，还能不回来？”
司马睿笑道：“如此便为万全之计！就这样办吧。”
这年八月，左丞相司马睿以祖逖为前锋都督、奋威将军、豫州刺史，给千人廪食、布三千匹，使自筹甲仗，自募军队，先行北伐。
同月，48岁的祖逖率领原班人马，从京口渡江北上。当时南渡者，均视北归为畏途，象祖逖这样率领原班人马重返北方的，可谓绝无仅有。祖逖望着滔滔大江，东流不返，感慨万千。行至中流，祖逖以手击楫，诣音清朗、辞色壮烈地誓道：“祖逖若不能收复中原，则如同大江，永不回归！”
渡江后，祖逖率领部队直趋淮阴。在淮阴休整二月，起冶炉，俦兵器，募士卒，筹粮草。募得2000余人。推荐蔡豹为徐州刺史，作为自己的后援。以许柳为司马。其他人均官复自己为徐州刺史时的原职。一切准备就绪，建兴元年(313年)十二月，全部人马出屯淮水中游的芦洲。
当时的中原，兵荒马乱，烽火连天。老百姓为了自保，纷纷大筑保垒，名之为“坞”，推选豪侠为首领，名之为“坞主”。中原坞主割据，争权夺利，互不统属，时而依附石勒，时而心向晋室，首鼠两端，最为难治。
祖逖西上豫州，首先必须经过该州所辖的谯那（今安徽亳县一带)这里有二个坞主，一姓张名平，一姓樊名雅，私交甚好。
当初刘琨的侄儿刘演(刘舆之子)为北中郎将、兖州刺史，与石勒进行拉锯战时，为得坞主之助，曾私署张平为豫州刺史，樊雅为谯郡太守。
祖逖正式受命豫州刺史，率众西上，平，雅二人以为来与自己争夺地盘，均心存敌意。祖逖不愿与同胞开战，派参军殷乂前去劝降。
参军殷乂本是一个性情怪傲的豫东游侠，早年成名时，张平，樊雅还只是江湖上默默无闻的小人物，因而对此二人颇为看不起。
殷乂先去见张平，张平久仰殷乂是本地前辈游侠，执礼甚恭。
殷乂却越发摆大架子，参观张平的住宅，轻蔑道：“此宅只配作马厩。”
张平素知殷乂怪傲，虽然生气，还能忍住。参观烹食用的大镬，殷乂嚷道：“如此大镬，何不用来铸兵器？”
张平不满道：“这是帝王之镬，等到天下清平，可以派大用场，为什么要毁：掉！”
殷乂冷笑道：“你张平连脑袋都不知是否保得住，爱惜这个大镬干什么？”
张平勃然大怒，迅速拔剑在手，指着殷乂道：“我敬你是个前辈，对你分外忍让，谁知竟如此不识抬举。好！好！今天看谁的脑袋保得住！”一言甫毕，剑锋暴长，直指殷乂胸口。
殷乂怪傲，武功势必有独到之处，但见滑步避开，长剑也已出手。战了半日，一个年轻力壮，一个功夫老辣，竟然不分胜负。最后，张平欺殷一不谙坞中地形，将殷乂诱入绝境，命手下乱箭射死。
祖逖听说殷乂被害，大怒，亲自领兵围攻张平坞。张平坞异常坚固 ，粮草储蓄亦丰，围攻数月，竟然不下。
当时谯郡附近还有董瞻、于武、谢浮等十余坞主，曾奉刘演之命，听张平指挥。这些坞主均自视甚高，轻易不肯屈身事人，刘演一去，全与张平貌合神离。其中谢浮尤其狂傲，已经公开不奉张平号令。
祖逖遂派人说谢浮，只要能够诱杀张平，一定请朝廷拜官封爵，重重赏赐。谢浮大喜，当即埋伏刀斧手，邀张平会议，共商抗击祖逖之计。
张平于穷困之中，急切需要援助，接到邀请，欣然赴会。谢浮砍下张平的头，献给了祖逖。张平一死，部下均作鸟兽散。祖逖顺利占领了张平坞及其所屑地盘。消息传到建康，司马睿很高兴，派人给祖逖送粮草。
建兴二年初夏，青黄不接，军中大饥。
祖逖苦等建康送的粮草，却听信使报告，由于交通阻塞，司马睿又取消了送粮草的计划。
没有办法，五月，祖逖率军进据离谯郡郡治谯县不远的太丘（在今河南永城县北）觅食。太丘本是张平的地盘，谯县则是樊雅的大本营，两地相距二百里。
樊雅得知张平被杀，十分悲愤，听说祖逖进据太丘，以为准备围攻自己，急忙选派六十余名精悍的武士，前去刺杀祖逖，祖逖进据太丘的次日夜晚，月黑风高，这批刺客就突然到了。
他们一进大营，就直扑主帅大帐。军中不知刺客人数，以为樊雅倾巢来犯，大乱，人人惶恐，均欲遁去，祖逖端坐帐中，不动声色，听了一会，对左右道：“敌人不过60余人，传令将士，不用惊慌！”命令胡奴王安举灯随自己出帐。
将士见主帅如此镇静，顿时心安。督护董昭挥舞双刀，锐不可挡，一会就砍倒七八个刺客；督护陈超旋转双戟，勇猛异常，转眼也杀死五六个刺客。
其余刺客见势不妙，纷纷逃窜。率众穷追，直到谯县，把城池团团包围心来。
樊雅兵多将广，又得张平余党之助，祖逖部队的围攻：受挫折，形势十分不利。时有蓬陂坞主陈川者，自封宁朔将军、陈留太守，屯兵兖州陈留那的浚仪县（今河南开封），势力很大。祖逖派人向陈川求助。陈川得悉祖逖志在经营豫州，与自己志在经营充州没有矛盾，为将来能够和睦相处，便派大将李头率兵二千支援祖逖。然而合二支部队，攻围谯城，历时经月，仍不能克。
南中郎将王含手下有个参军，姓桓名宣，谯郡人，与张平、樊雅同乡交好。当初司马睿想收张平、樊雅为己所用，曾派桓宣作说客，马到功成，十分顺利。祖逖遂函求王含派桓宣前来相助。
桓宣领兵五百很快赶到谯城之下的祖逖大营。
祖逖对桓宣道：“桓参军以前曾劝平、雅归顺，有信于彼，有功于朝。这次仍请为我劝雅：如能立即投降，不仅可以免死，还可以受到奖励和重用。”
桓宣遂带二个随从入谯，说樊雅道：“祖豫州为人侠义，决心荡平刘、石二寇，如雅兄这等人才，必会受到重用。以前殷父怪傲，得罪张平，原非豫州本意。但两国交兵，不斩来使，张平杀了殷父，总觉理亏。张平之死，实咎由自取，怪豫州不是。雅兄如愿和解，则忠勋可立，富贵可保。如犹固执，琅邪王赫然动怒，再遭猛将，以雅兄乌合之众，孤守穷城，万难幸免！愿善自珍重，早作选择。”
樊雅考虑再三，觉得桓宣说得有理，便派儿子随桓宜一起去见祖逖，同意投降。几天后，樊雅又亲自到祖逖营中谢罪。不料张平余党中有人恨祖逖谋害其主，有人曾辱骂祖逖怕遭报复，等樊雅回城后，威胁樊雅，又闭门拒守。
祖逖率众攻之，不下，再派桓宣入谯。樊雅与桓宣定计，将异己者全部杀死，于八月率部出降。
祖逖将大本营迁到谯城，从此在豫州有了一块进可攻、退可守的根据地。初战告捷，祖逖以功升为平西将军。
建兴四年(316年)十一月，刘曜攻下长安，愍帝被俘。建兴五年正月，平东将军宋哲从关中逃到建康，宣愍帝被俘前所撰诏书，请琅邪王司马睿即位。可一以愍帝未死，仅称晋王，改建兴五年为建武元年。
建武元年六月，石勒派从子石虎大举围攻谯城。祖逖势单力孤，一面人向建康求援，一面坚壁固守。新称晋王的司马睿，不肯动用自已的嫡系部队，派徒有虚名的太山太守司马飏率兵2000前往援助。司马飏无知无识。凡事均须占卜而行。
他找到当时有名的术士戴洋，戴洋对他说：“祖豫州深谋远虑，自有退敌之方，你去于事无补。”他就真的称疾不出兵。司马睿一怒之下，把他下了大牢，援助之事也就不再提了。
祖逖苦守二月，外无援兵，内无粮草，形势十分危急。祖逖迁据谯城之初，为长远利益考虑，曾命士卒在城北屯田。现在正当收获时节，而城中恰又缺粮，祖逖遂将人马分作两路：强壮者随自己出城逐敌，老弱者跟在后面抓紧时间抢收稻谷。行动时间定在夜晚。大家均须手持炬火，如果敌人猖狂反扑，抵挡不住，就放火烧掉稻谷，不能让敌人用作粮草。后来执行这项计划，还算比较顺利，抢收了一半稻谷，烧掉了另一半稻谷。有了粮草，又坚守了一个月。
这时，桓宣率增援部队赶到了。原来，收服樊雅后，桓宣又回到南中郎将王含那里。
听说祖逖被困，晋王不派援兵，桓宜很感气愤，桓宜一向仰慕祖逖为人，谯郡又是桑梓，遂找王含软缠硬磨，终于征得王含同意，前来援助祖逖。石虎粮草已尽，将士均无斗志，听说祖逖方面来了援军，不敢久留，连夜撤退了。祖逖对桓宣非常感谢，把他留在身边，用作谯国内史(即谯郡太守)。
司马睿听说祖逖逐走强敌，大为高兴，传檄天下，声称：“逆贼石勒，肆虐河朔，又遣凶党石虎，率犬羊之众，犯我谯郡。平西将军祖逖，智勇双全，帅众讨击，挫败凶党。今遣车骑将军，琅邪王裒等九军，锐众3万，水陆四道，直抵中原，受祖逖节度。"
琅邪王司马裒是司马睿的儿子，当时正患重病，司马睿怎么可能派这个快要死了的儿子去冒险？这不过是个骗人的花招，想说明司马睿本人对祖逖的北伐是由衷支持。果然，出师没有几天，司马睿又把人马全部召回去了。
这年十二月，刘聪在平阳大宴群臣，令愍帝洗爵行酒；宴毕，将愍帝害死。太兴元年(318年)三月，愍帝死讯传到建康，晋王司马睿即位，是为东晋元帝。
五月，并州刺史刘琨被鲜卑段匹害死。七月，汉主刘聪死，子刘粲即位。大臣靳准杀刘粲，不久自己也被杀。十月，刘曜即位，迁都长安，改国号为赵，史称前赵。石勒控制幽、冀、司、豫等州，驻于襄国(在今河北邢台市西南)，已有与刘曜抗衡之意。
愍帝之死及匈奴汉政权内讧，均在祖逖意料之中，虽心有悲喜，尚未动容。只有刘琨被害，使祖逖大为惊痛，颠狂失态。祖逖曾与刘琨相约，共同在中原干一番事业。刘琨任并州刺史十二年，面对刘渊，刘聪这样的强敌，毫不气馁，孤军奋战，尽忠卫国。
不久前，刘琨听说祖逖攻占谯郡，在豫州获得一块立足之地，曾大为兴奋，以为马上可与祖逖实践旧约，联手抗敌，收复大晋江山。他在给亲友的信中写道：“我枕戈待旦，志枭逆虏，常恐祖生先我著鞭！”颇有要与祖逖竞赛争胜的意思。谁料壮志未酬，人却选逝。
祖逖闭门三日，时而放歌，时而痛哭。等到镇静下来，祖逖暗暗发誓；不论困难多大，也要完成二人共同的事业，以告慰烈士在天之灵。
祖逖考虑，石勒为与自己对抗，在豫州西北布有重兵，由此北上河、洛，困难甚大，不如先行迂回之策，东去兖，徐二州，看看石勒的反应。
由徐州北上，先得经过该州的彭城国。当时彭城地区有二个坞主，一名周抚，一名周默，靠剽劫为生。周抚善恶不辨，唯利是图，难以商量；周默天性未泯，能识大体，较易说话。
祖逖便派人向周默劝降，请求借路。周默素敬祖逖为人，竞不如思考，欣然同意。然而周抚听说，怀疑周默卖己，不念同袍之谊，于太兴元年十二月，袭杀周默，以彭城叛附石勒。
朝廷派徐州刺史蔡豹、彭城内史刘遐和太山太守徐龛讨伐周抚，在彭城一带展开激战，交通阻塞，道路不通。祖逖无奈，转而向兖州陈留的蓬破坞主陈川假道。
陈川曾派大将李头助祖逖围攻樊雅 ，祖逖对陈川颇有好感。李头想要擒获的樊雅的骏马而不敢言，祖逖自 己爱马成癖，但知道之后，看在陈川的面子上， 忍痛把这匹骏马送给了李头。
李头受此恩遇，感激万分，回去之后，逢人便道 “若得此人为主，虽死无憾。”陈川非常恼火。
太兴二年(319年)春，祖逖向陈川假道，陈川以为是李头暗中策划 ，将李头杀死。李头亲党冯庞等率部下四百人连夜投降祖逖 陈川更怒，派大将魏硕攻打祖逖辖地，抢劫车马及人口 。祖逖派将军卫策追击，战于谷水，大胜，把车马及人口全部夺回。 陈川大惧，四月，率众叛附石勒。
祖逖最恨认贼作父之人 ，见陈川叛附石勒，恶感顿生。五月，亲率将士讨伐陈川 ，一气打到蓬陂的门户蓬关之下。
祖逖武功既强，谋略又高，陈仲自知不是对手，急忙飞书向石勒求救。
石勒派石虎率兵五万，杀气腾腾而来。祖逖所率将士不足五千，无法正面迎战，便设计将石虎诱入蓬关附近的山谷，居高临下以歼之。
这一仗大获全胜，斩敌近2万人。石虎不甘心失败，集聚优势兵力，六月，在陈留的浚仪布阵。陈川也倾巢出动。祖逖欲从浚仪西上河、洛，不得已，与敌人展开了正面战。这一仗以寡敌众，自然十分残酷，足足打了一日一夜。
祖逖亲自上阵，长剑出手，矫如游龙，无人能敌。将士见主帅威风如此，也都勇猛异常，直杀得天昏地暗，日月无光。然而杀敌一万，已损三千。敌方人数太多，继续拚下去，只会对自已不利。祖逖率余部冲出重围，七月，退出梁国（今河南商丘市）。
正当祖逖在前方吃紧时，后方的建康局势也不平静。王敦有大功于东晋，新任荆州刺史，手握强兵，威权莫二，渐生专制朝廷之心。
元帝心中畏惧，引丹杨尹刘隗和尚书令刁协为心腹，以对抗王敦。祖逖在浚仪受挫，消息传到建康，佐著作郎虞预上书道：“周抚、陈川相继背叛，祖逖面对强敌，孤立无援，虽有智力，亦难持久。恳请选举贤能，率牢北上，以助祖逖一臂之力。”元帝自顾不暇，当然毫不理会。王敦听说祖逖受挫，心中大喜。
他一生之中，仅怕祖逖、刘琨二人，迟迟不敢公然反叛，就是因为这“京师二侠”均尚健在的缘故。
一年前听说刘琨被害，他曾兴奋得开怀畅饮，大醉三日。现在祖逖受挫，他认为祖逖已经自身难保，再也无法干涉他的行动，胆气更壮了。
八月，王敦派参军数十人，出使四方，宣布自己要亲下建康，干预朝政。祖逖在梁国，得悉其，不觉拍案而起，对王敦所派参军瞋目厉声道：“你回去告诉阿黑，休要胆大妄为！令他速回荆州！稍有耽搁，我定率三千快骑，取他的性命！"王敦听说，吓得直淌冷汗，立即停止了行动。
山这年十月 ，石勒又派大将桃豹增援石虎，敌方的总兵力达到10万人。祖逖只有近3000人，如果固守梁国，无疑凶多吉少。
督护陈超请求率1000人偷袭桃豹， 观察敌方的虚实和动向，祖逖同意了，但对陈超道：“孤军深入，最忌恋战。发现不妙，立即回师。我在这里先作好撤退准备，只等你的消息。"陈超出梁国不远，突然遇到桃豹的大军。
这时回师无异引狼人室，陈超只好先派人火速通知祖逖撤退，自己率军缠住敌人，拖延时间。这一仗更加残酷，陈超与手下士卒均抱必死之信念，无不以一当十，直杀得尸横遍野，血流成河。
最后，陈超英勇战死，手下士卒全部牺牲。等到桃豹整理队伍，赶到梁国时，这里已经没有一个人了。祖逖率二千将士及将士家属撤退到扬州淮南郡的寿春(今安徽寿县)，进行休整。
石勒得知部下攻占谯郡和梁国，把祖逖逐出了豫州，大为高兴。他命桃豹留守陈川的蓬陂故城，石虎徙陈川及其部众五千户还襄国。十一月，他在襄国得意洋洋地称王，建国号也为赵，史称后赵。
经过几年的战争砥砺，祖逖积累了丰富的经验。他分析形势，深信艰难岁月已经过去。他在寿春多积粮草，广募士卒，为再次进军豫州作好了准备。
太兴三年(320年)正月，祖逖率1万将型出士北上，势如破竹，不到10天就收复谯郡、梁国，先遣将军韩潜马不停蹄，一举攻占蓬陂故城的东台，桃豹被迫退守西台。对敌双方同住一城，桃豹军从南门出入放牧，韩潜军从东门出入樵爨，相持凡四句。
祖逖时镇梁国，派人向韩潜授扰敌之计。韩潜心领神会，第二天便执行。先以布袋盛土如米状，使千余士卒从东门外哼哼唧唧地扛上东台。再以几个布袋盛真米，使几个士卒佯作疲惫状，边扛边歇，远远落后。的部下见有机可趁，疯狂扑来，这几个士卒扔下米袋就跑了。
当时桃豹军中缺粮，见米袋里装的都是大米，以为韩潜军中粮食充足，人心大乱，均无斗志。殊不知韩潜军中的粮食也快吃光了。石勒得知桃豹军中缺粮，派大将刘夜堂以驴千头运米支援。
祖逖获知消息，命将军冯铁，卫策率精兵在汴水设伏，把米全部劫为己有。桃豹不敢继续拒守，连夜逃到东燕城(在今河南延津东北)
祖逖由梁国移镇陈留的雍丘(今河南杞县)，命冯铁屯守蓬陂故城，韩潜进据东燕城南40里的封丘。当时成皋以东，黄河以南，石勒仅存濮阳，东燕二城，其余尽为祖逖所控制。
祖逖令冯铁与己轮番攻扰濮阳，使守敌日夜不息，疲于奔命。
凡获濮阳老百姓，均厚待之，然后遣回，让他们作义务宣传。濮阳老百姓知祖逖大仁大义，纷纷携男带女投奔祖逖，前后共有五百家之多。
韩潜也把本部分为二班，轮番攻扰东燕，把桃豹搞得焦头烂额，叫苦不迭。石勒派精骑数万渡河南下，想与祖逖一决雌雄。祖逖让长史李产、司马许柳、督护陈超，参军王愉四路夹击，大破之。
濮阳、东燕守军见势不妙，与败骑一起撤到黄河以北去了。仅黄河南岸留下一些曾经依附石勒的坞主。这些坞主的儿子都被石勒扣在襄国作人质，不敢公然背叛石勒，祖逖也就不去逼他们，只是时而派兵去抄扰他们一下，以证明他们并未归附自己。他们无不感激祖逖的良苦用心，争先恐后地向祖逖提供石勒方面的情况。
祖逖控制了整个豫州和半个兖州，声名远播，威望日隆。司州境内的坞主，如赵固，上官巳，李矩、郭默等，平时各逞诈力，互相攻击，经祖逖调解，立即握手言和，并均愿受祖逖节度。从此，祖逖的势力又进入了司州。这年七月，祖逖以功升为镇西将军
祖逖在豫、兖、司三州大力劝课农桑，招抚流亡。自己亲自耕耘收获，子侄无不负担樵薪。
所蓄资产，一律奉公。命令收弹无名尸骨，并加祭奠，不照办的处以重罚。老百姓的生活逐渐安定富裕，民风也随之返朴归真。祖逖曾置酒大宴本境耆老，为他们祝寿。耆老均感到流泪，相互叹道：“咱们垂垂老矣，更得父母，死亦无恨！"于是境内纷纷传唱：
“幸哉遗民逸豺虎，三辰既明遇慈父。
元酒清醪甘瓠脯，何以报恩歌且舞！"
这年九月，祖逖又以功升为征北将军。
石勒听说祖逖在河南厉兵秣马，随时准备
万平河北，大为惊恐。自登基称王后，石勒已无往日雄风，只求太太平平地过日子，不敢逞凶冒险。他严禁部下窥兵河南，避免触怒祖逖；命令成皋县守军立即修缮祖逖生母程氏之墓，向祖逖表示友好。
不久又下诏道：“祖逖屡为边患，势力壮大，颇难克制。逖为北土士族，当有首丘之心。幽州当拨专人修缮范阳祖逖，父之墓，并置守冢二家。如此，才能盼望祖逖感恩，不再犯我！”
祖逖在陈留雍丘听说自己祖、父、母的墓都得到修缮和保护，心里非常高兴。但他严肃地对部下道：“石勒老贼指望祖逖感恩，放弃北伐计划，这是痴心梦想。亡国之耻，毁家之恨，祖逖未曾一刻忘记，岂能以小私废大公 ！”
参军王愉道：“咱们何不假意表示感谢，派人前去以赠方物、修和好为名，探探石勒的虚实？”
祖逖大笑道：“愚兄也有这个意思，正所谓英雄所见略同。”
王愉也笑道：“那么，想必逖兄连人选也早就确定下来了吧。”
祖逖正色道：“此事重大，怎能不未雨绸缪！愉弟为人精细，正是最佳人选，请万勿推辞！"
王愉领命而去。
石勒得知祖逖遣使前来修好，大为欢喜，兴。
急令沿途官兵务必用最高规格款待使者，并绝对保卫使者的安全。因而一路上，王愉吃香喝辣，乘车坐轿，前有仪仗，后有护卫，好不舒服和威风。
到了襄国，石勒亲自设宴款待王愉，王公大臣全部前来作陪。使命完成，王愉回到中原，将往返所见敌方城池构造、水陆布纺绘成地图，呈上祖逖。
祖逖可以根据这份地图，调整自己的军事部署，进行有针对性的练兵，意义十分重大。
不久，石勒派左常侍董树携骏马百匹，黄金五十斤，出使河南，请求互市。祖逖既不表示同意，也不表示不同意，为自己留退路。
董树见祖逖有默许之意，回去禀报石勒，就在边境上开辟了互市场所。经过几个月的互市，石勒方面固然获利不少，祖逖方面获利更多，至此，祖逖才对互市一事表示正式支持。
将军童建，在祖逖军中以脾气暴躁闻名，同你遇真每多容让，连祖逖也不有意与他抬杠。新蔡内史周密，最发与人顶牛，凡事不争赢决不罢休。
童建受命驻兵新蔡，与周密相处没几天，二人就如水火一般不能相容。有一次，二人又为一件小事争吵起来，童建控制不住自已，一刀把周密杀了。
童建冷静下来，不禁非常害怕。他知道，祖逊对待将士，平时称只肯弟，亲密无间，犯法却坚决严惩，毫不留情。为了活命，他偷渡黄河，投降石勒去了，祖泓听说童建投敌，恼怒之余，非常担心。
因为童建作为大将，掌握的情报太多了，一旦泄露出去，对将来北伐无疑大大不利，没想到几天后，河北送来了童建的首级，并附石勒手书一封，道：“天下所恶相同。叛臣逃吏，我之大敌。将军所恶，就是我所恶。”原来，石勒为了讨祖逖的欢喜，没等童建泄露情报，就把他杀了。从此，河南之人均不敢往河北叛逃。为了麻痹石勒，河北之人叛逃到河南，祖逖也不收留。
自祖逊占据中原，干戈化为玉帛，生灵免于涂炭，河南、江南呈现一派太平景象。东晋君臣本有苟且偷安之心，见此无不额手称庆，希望祖逖这座“中原长城”，就这样维持下去，不要再生变故。他们不知道，祖邀所希望的与他们不同，不是这局部的太平，面是驱除“胡虏”，恢复中华的天下太平。
外宁必有内优。过了几个月太平日子，等到祖逖公私丰赡，兵马日滋，准备大举渡河，收复幽、冀诸州时，东晋君臣间的矛盾竟然已经愈演愈烈了。
张芳雪代蓝元帝本来就对王敦既畏且忌，刘院、刁协二人又总在元帝面前对王敦说长论短，元帝千脆与包括王导在内的所有琅邪王氏都疏远了。
元帝初驻江南，全靠王导、王敦弟兄替他打开局面，当时便有“王与马，共天下”之说。现在政权稳固，就想过河拆桥，王导还想得开，王敦本来就有野心，这下更不愿善罢甘休。
他手握强兵，雄踞上游，对建康虎视眈眈每次酒后，一面高吟魏武帝曹操的名诗：“老骥伏枥，志在千里。烈士暮年，壮心不已。”一面用金如意敲打唾壶为节，壶边尽缺。
元帝听说，为之胆寒。为了防备王敦兵下建康，太兴四年(321年)七月，他任命刘隗为镇北将军，都督青、徐、幽、平四州诸军事，青州刺史，镇守淮阴；戴渊为征北将军，都督司、兖、豫、并、冀，雍六州诸军事，司州刺史，镇守合肥，与建康构成犄角之势。戴渊都督六州中有豫州，祖逖为豫州刺史，从此由戴渊直接领导。
戴渊字若思，广陵世家子弟。少好游侠，敢作敢为。吴中名士陆机乘船赴洛，渊率其党半道劫之。
陆机在船头看到戴渊坐在岸边胡床上，指手画脚，颇有章法，不禁叹道：“戴郎才器如此，不知为何要当劫贼？”戴渊醒悟，从此走上仕途。
元帝渡江，戴渊作为南方土著领袖之一，颇受重视。然而南方豪强家乡观念重于国家观念，他们只希望保住南方，对北攻收复中原从不感兴趣。
戴渊更是反对北伐的强硬派。况且戴渊这次出镇，本奉元帝密旨，必须竭力阻扰祖逖北伐。因为元帝知道，王敦最怕祖逖，只要祖逖在豫州呆着，豫州与荆州紧邻，王敦就不敢放肆。
祖逖知道一旦受戴渊控制，酝酿多年的北伐事业，必将前功尽弃，颇为闷阉不乐；知道朝廷内讧，迟早会引发一场大的动乱，又顿生焦虑。
不到半个月，祖逖得了重病。他意识到自己的病可能很难药救，将家属都从陈留的雍丘迁到汝南的大木山。
大木山地势险峻，易守难攻，进可北上中原，退可南下江，淮，祖逖当年任汝南太守时就知道，这里是一个理想的避难地。祖逖的这一安排，在中原人民中引起一阵骚动。大家都知道，祖逖行军打仗，为稳定军心，不管多么危险，家属总是随身带着的。
这一次，战争还未开始，祖逖本人在雍丘，却把家属迁到后方的大木山，中原人民自然十分担心。豫州耆老推举一人到雍丘面见祖逖，道：“中原百姓原以为将军会进据虎牢关，等待机会，渡河北上。今见将军南迁家属，均不胜惶惧。”
祖逖道：“中原百姓对祖逖无限关心，祖逖虽粉身碎骨，亦不能报答万一。这虎牢关西接成皋，北临黄河，确为理想之北伐基地，自古为兵家所必争，祖逖一定不会轻易舍弃。只要祖逖活在一天，北伐事业就不能让它中辍！"
耆老代表走后，祖逖立即命长史李产率精兵占驻虎牢关，修缮城池，储积粮草；又命从子祖济率汝阳太守张敞、新蔡内史周閣在虎牢南面广筑壁垒，以重兵守卫。然而明眼人都可看出，逖祖的这些部署，实际全采守势。因为这时，逖祖已经意识到自己将不久于人世，北伐根本无从谈起，退而求其次，能够保住中原这既得的成果就不错了。
逖祖病重的消息传开，建康君臣也甚感恐慌。他们主要担心袒逖一死，王敦将无人可制。八月，朝臣华谭，庾阐吓得马上去找术士戴详，问道：“祖提豫州还能活多久？”
戴洋答道：“还能活一个月，九月必死！”元帝立即召集心腹大臣会议，商量应变之计。
刚刚奉命赶回建康的青州刺史刘隗道：“臣以为，祖逖如死，理应让谯国内史桓宣代领豫州。宣为人忠贞，又系豫州土著，必能保境安民，外抗强虏，内助朝廷。”
尚书令刁协道：“以桓宣代领豫州，固然不错，但恐怕难以得到祖逖属下将士的拥护。祖逖属下将士，大多出身豪侠，顽劣成性，平生仅服祖逖一人，本非他人所能统领。臣以为，以祖逖之弟祖约代领豫州较好。约之才德虽不及桓宣，但曾在陛下相府任掾属及从事中郎多年，现又任宫官侍中，忠贞应无疑问。更重要的是，祖逖属下将士对待祖约，即使仍不一定拥护，但看在旧主面上，也不至于公然背叛。”
刘隗则道：“原相府军咨祭酒祖纳曾言祖约‘怀陵上之性，将为乱阶’，以祖约代领豫州恐怕更不妥。”
刁协驳道：“祖纳为祖约异母兄长，二人关系一向不好，人所共知，此话如何能够当真？”
元帝道：“朕同意以祖约代，就这样决定了吧！”
王敦在荆州，听说祖逖将死，大为高兴，道：“苍天有眼，让祖逖先死。我一定不辜负天意，找司马睿这忘恩负义的东西算帐。”吩咐水陆两军加紧操练，只等祖逖一死，就兵下建康。
石勒在襄国，听说祖逖将死，大为振奋，道：“受了祖逖几年窝囊气，这下总该结束了。祖逖一死，司马睿的手下，再也无人可与我抗手，若不趁此荡平江南，更待何时！”吩咐尽快集结兵马，只等祖逖一死，就挥师南下。
时有“妖星”见于豫州之分，按历阳星相家陈训的说法，是西北大将将死之兆。祖逖听说，叹道：“这是指我呀！正欲渡河收复失地，而天却要杀我！看来天不佑国，胡不当灭！”悲痛万分。
把胡奴王安找来，道：“足下本是胡中大侠，为事奉祖逖，卖身为奴，是以祖逖虽早知道，却不便点破。
今祖逖将死，足下再在此地逗留下去，恐怕有碍前程。足下与石勒同族，不妨投奔河北。石勒有知人之明，足下必受重用。将来石勒犯我中原，杀我人民，足下或许还能从旁劝阻。”
王安泣道：“王安不才，事奉主公多年，获益匪浅。主公有命，只好敬从。今后王安不管身在何黄金，都不会做出对不住主公之事！”
祖逖送给王安一百两立，一匹骏马、一把宝剑，作为对王安事奉自己的报答。王安走后，祖逖立下遗嘱：死后，尸体就地安葬，不得运回江南。这是为了实践当初“中流击楫”所发的誓言。
这年九月，一代大侠兼名将祖逖死于雍丘，享年五十六岁。中原百姓如丧考妣，痛哭失声。谯、梁百姓为之立祠，岁时祭奠。朝廷册赠车骑将军。
祖逖死后，朝廷以祖约为平西将军、豫州刺史。约无统军之才，又无安民之术，军民不附。
司州坞主郭默欲发兵讨约，被另一坞主李矩劝阻。长史李产率子弟十余人不辞而别，渡河回到范阳，先仕于石勒，后仕于慕容偏。将军冯铁投靠了兰陵相苏峻。中原百姓眼看动乱将起，纷纷南渡避难。
第二年(永昌元年，322年)正月，王敦以清君侧为名，从武昌起兵。四月，王敦占领建康，刁协被杀，刘隗投奔石勒。五月，石勒入侵河南。
十月，石勒攻下襄城、城父，祖约退据寿春，中原几乎尽失，闰十一月，元帝被王敦气死，子司马昭即位，是为明帝。
明帝太宁元年(323年)三月，石勒攻下徐州的下邳。二年七月，王敦病死。三年四月，郭默、李矩及中原坞主纷纷南逃，石勒占领兖、豫、司三州之地。闰八月，明帝死，子司马衍即位，是为成帝。成帝咸和元年(326年)四月，石勒将石生寇汝南，内史祖济被俘。
十一月，石勒将石聪攻寿春，祖约屡向朝廷请救，朝廷不发兵。石聪攻寿春不下，转攻逡遒、阜陵二县，杀掠五千余人。朝廷恐慌，议筑涂塘以遏石聪。寿春在涂塘外，祖约大怒，知道朝廷想抛弃他，遂生反谋。
二年十一月，祖约与升为历阳太守的苏峻同反。约命祖邀子祖沛、祖涣及淮南太守许柳率兵至历阳与苏峻会合。祖逖妻许氏固谏，约不从。
三年七月，由于寿春空虚，石聪围攻，祖约不敌，奔历阳。四年正月，祖约为朝廷所败，携家属投奔石勒。石勒薄其为人，久而不见，后听信馋言，将祖约及其亲属100余人，骗到市上，尽诛之。
时胡奴王安已为石勒大将，知其谋，携随从多人潜往观看，趁监者不备，将祖逖小妾所生之子、年仅10岁的祖道重偷出，剃度为沙门，送回江南。
祖逖死后不到8年，中原全部沦陷(直到南朝再也未收复过)，江东暴乱迭起，妻儿亲党几乎被屠杀尽净，真使千秋万世为之慨叹不已！
,
