从189年东汉名存实亡开始，中国再次进入了大分裂时代。此后，经过了三国、两晋、南北朝三个阶段，最终到589年完成了统一。在南北朝时期，北方的鲜卑族建立了北魏、北周、北齐等政权，南方出现了汉族建立的宋、齐、梁、陈四大王朝，南北相互对峙。在南北朝时期，南北方都相对比较稳定，为经济恢复、民族融合提供了条件，为后来的大一统奠定了基础。与此同时，在大漠出现了柔然、高车、突厥等争霸的局面。
在4世纪末期，黄河流域出现了代、后燕、胡夏、南凉、北凉、西凉、吐谷浑等政权，其中代国、燕国和吐谷浑都是鲜卑族建立的。386年，拓跋珪在漠南重建代国，不久改名号为魏，史称“北魏”。此后，北魏通过三代人的努力，最终在439年统一了北方。在南方，刘裕从399年开始掌握东晋大权，他平定孙恩起义，消灭桓楚、西蜀及卢循、刘毅、司马休之等割据势力和反对政权，使得南方终于统一。此后，刘裕也北伐消灭了南燕、后秦等。420年，刘裕正式称帝，建立了刘宋。中国进入了南北朝对峙的阶段。
由于北魏忙于统一战争，大漠的柔然趁机崛起，建立了一个东到大兴安岭，西到伊犁河流域的汗国。由于柔然的存在，使得北魏处于两面夹击的状态，这也导致北魏无法南下。到北魏中期，柔然的势力范围扩张到了西域诸国，疏勒、于阗也臣服于柔然，而焉耆等重要的据点被柔然抢夺。
北魏后期，孝文帝迁都洛阳，推行全面的汉化改革。在南方，刘宋宗室内乱，政权被萧氏的南齐取代。北魏在南朝内乱期间占据了山东半岛。在大漠，高车在阿伏至罗的带领下迁徙到了西域，脱离了柔然控制，建立了高车汗国（487年—541年）。不过，高车的处境十分危险，因为柔然虎视眈眈，而西边的嚈哒也逐渐强大起来。在这样的情况下，高车基本上都是联合北魏对付柔然。
502年，南朝梁氏内斗，萧衍于502年建立了南梁，取代了南齐。黄河流域，六镇因为遭到柔然的进攻，经济残败，最终引发了六镇起义。534年，来自于六镇的高氏和宇文氏瓜分了北魏，建立了新的政权，也就是北齐和北周的前身。在漠北方面，高车最终在柔然和嚈哒的进攻下亡国，而柔然占据了天山以北，嚈哒占据了天山以南。吐谷浑则趁机向北扩张，占据了鄯善。
高车灭亡之际，迁徙到阿尔泰山一带的铁勒人和塞种人融合，演变除了一个新的民族——突厥。突厥最开始是高车的一部分，后来倒向了柔然。550年，阿史那土门建立了突厥汗国，并且将所有的高车部落纳入其中。552年，突厥灭柔然，称雄大漠。568年，突厥又联合波斯帝国瓜分了嚈哒。突厥的兴起，让中原王朝倍感压力。
中原方面，550年，高洋正式改国号为齐，北齐正式出现；557年，宇文氏也改国号为周，史称北周。548年，南梁爆发了侯景之乱，梁武帝被饿死。镇守荆州的萧绎将荆州北部割让给了宇文氏，宇文氏还乘机占据了益州，得到了内地的半壁江山，为后来宇文邕灭北齐奠定了基础。侯景之乱后，南梁灭亡，陈霸先建立南陈，守住了南朝的半壁江山。
577年，宇文邕灭北齐，实现了中原的统一。不过，宇文邕还未大展拳脚，就去世了。宇文邕去世后，杨坚趁机夺权，建立了隋朝（581—618）。虽然宇文邕没有实现北伐突厥、南平江南，但是为后来隋朝的大一统奠定了基础，也算是南北朝最重要的帝王之一。
589年，杨坚命令大军南征，南陈灭亡，宣告华夏再次统一，时隔整整400年。当时，突厥由于面积太大，又在地方四大小可汗基础上增加了三个可汗，目的是防范西面室点密可汗。此后，突厥爆发了内战，漠北大乱20年，这给隋朝的强盛提供了国际环境。
经过20年的内战，突厥最终分裂为了东突厥和西突厥。而隋朝则在这个期间进一步扩张。609年，隋朝灭吐谷浑，设置了鄯善、且末、西海、河源四郡，隋朝的版图达到了顶峰。然而，东突厥强盛后隋炀帝带来了巨大的压力，高丽也倒向东突厥。为了征服高丽，隋炀帝三征高丽，最终都是失败，引发了大规模的农民起义，最终隋朝于618年灭亡。此后灭高丽、征突厥、平西域的任务就只能交给唐朝。
