公元376年，一年之内，前秦军队灭了凉州、代国，又降服了西方杂夷，统一了北中国，占据了巴蜀，南下江南只是时间问题，历史似乎又要重演百年前西晋统一中国的那一幕。
面对这种情况，不论是对于刚刚成年的孝武帝司马曜，或是宰相谢安、车骑将军桓冲来说，都是一场非常严峻的考验。在皇权经历了低谷之后，作为东晋皇室也好，宰相谢安也罢，都要试图进一步巩固中央的皇权。惟其如此，才能应对即将到来的那场生死之战。
孝武帝司马曜继位之后，摆在面前的首要任务，就是统一思想，重拾晋朝以孝治天下的理念。谢安本人的思想游走于玄学和儒家之间，在山言玄，在朝言儒，尤其是在国家大敌当前而内部思想派系混乱之时，更是需要统一统治阶级内部的思想。经谢安等人具体安排，司马曜在结婚—个月之后，即宁康三年的九月，就主持讲解了《孝经》。
司马曜讲解《孝经》，在当时可谓一件盛事，也预示着东晋朝廷整肃朝纲、巩固皇权、统一政令的决心。
除了倡导儒教以外，在孝武帝太元初年，东晋政府还采取了一系列缓和社会矛盾的措施。太元元年九月八日，朝廷下令，废除按照田亩收税的制度，改用以人口为单位的征税制度，自王公以下每人每年缴纳三斛米，不再另派差役。不久，谢安请求寻找东晋初年的佐命功臣之后，予以加官晋爵。太元二年正月，正式"继绝世，绍功臣"。
谢安主持朝政，务存宽简。《世说新语·政事》记载：在谢安执政的时候，逃避差役的士兵和仆役，大多流窜到南塘一带的船中躲藏。有人要求对这些船只进行搜查，谢安不同意，他说∶"如果连这些人都容纳不了，怎么能称为京师呢?"当时的人们赞扬谢安，将他比作王导，而文雅又胜王导一筹。
在安定内部的基础上，谢安和桓冲采取了"以退为进、后发制人"的对敌策略。
太元元年，东晋得知前秦业已平定凉州后，即于十月份，主动将淮河北岸的居民迁往淮南地区。《资治通鉴》胡三省注曰"畏秦也"，其实这只是原因之一。东晋朝廷此举其实是在衡量敌我实力后做出的正确决策。
此时，东晋在淮河北岸地区尚有彭城、下邳等据点，根据双方的力量对此，要想固守淮北城池，十分困难。如果将敌我双方的决战战场放在淮北地区，不仅拉长了晋军补给线，而且东晋军队舍弃擅长的水战，欲在平原上与敌争锋，胜算渺茫。这正如三国时期吕蒙曾指出的那样，彭城（即徐州）虽为四战之地，为兵家所必争，但其"地势陆通，骁骑所骋"，且地近许昌、洛阳，对南军作战十分不利。因此，淮北地区的据点可以暂不主动放弃，用于迟滞敌人的进攻，而主力部队则依托淮河防线，将敌人引至淮南地区进行决战。在这种思路下，将淮北之民迁往淮南的直接目的，就是满足东晋军队兵员和东晋政府人力的需要。
除了将未来的战场划定在江淮之间外，谢安还需要组建出一支精锐的部队，以应对即将到来的挑战。因此，太元二年十月，谢玄被任命为兖州刺史、广陵相之后;最为紧迫的任务就是组建属于自己的军队。据《晋书·刘牢之传》的记载∶"太元初，谢玄北镇广陵。时苻坚方盛，玄多募劲勇，牢之与东海何谦、琅邪诸葛侃、乐安高衡、东平刘轨、西河田洛及晋陵孙无终等以骁猛应选。玄以牢之为参军，领精锐为前锋，百战百胜，号为北府兵。"由此可以看出，谢玄招募的标准就是"勇猛"，而且偏重于选择猛将。
《晋书·刘牢之传》记载了北府早期的七员猛将∶刘牢之、何谦、诸葛侃、高衡、刘轨、田洛、孙无终。这些将领有的是豫州谢氏旧部，如刘牢之;有的是原徐州部将，如何谦;其他的有可能是流民帅，他们本身就有各自的部曲;再加上前一年从淮北迁移过来的大量北方流民，所以，谢玄的北府军队很快就建立起来了。
无独有偶，桓冲抵达江陵之后，也提出了将治所迁往长江以南的计划。他上书称;"兵者诡道，示之以弱，如今应该将重心转移到防守长江以南，对于长江以北地区则驻守少量部队。如果敌人前来，江北城市坚壁不战，等敌人进攻江南疲惫之时，再前后夹击。"桓冲将大本营转移到长江以南的上明（今湖北省松滋县境西北长江南岸），命令冠军将军刘波率军驻守江陵，谐议参军杨亮（原梁州刺史）驻守江夏（湖北省云梦县等县）。桓冲的计划即不急着在长江以北决战，以襄阳、竟陵、南阳等长江以北诸城为诱饵，在敌人将要发动的进攻中，利用上述据点不断迟滞、消耗敌人的实力，待敌人筋疲力尽之时，再出动主力部队进行反攻。
桓冲的这一思路也是在认真考量了敌我实力的基础上作出的正确判断。因为此时的东晋朝廷已经丧失了益州和梁州，荆州地区面临来自北面和西面两个方向的威胁，战略态势已经变得十分不利，东晋荆州地区的任务已经从过去的攻防兼备，转换成了单纯的防御。在这种情况下，大荆州地区的战略重点就不再偏重于进攻的出发地襄阳，而转移到了在防御战中能够兼顾两面的江陵一带。桓冲这一收缩战线的思路与下游谢安放弃淮北的指导思想是一致的。然而，桓冲这种轻戍江北的策略，同样也将江淮战场的侧翼暴露给了敌人，会让下游承受更大的压力。
,
