马匹是被人类很早就服了的动物不过早期的骑兵既没有马鞍，也没有马镫，全靠自己的双腿紧紧夹住马腹催马奔驰，在马上也无法使用身体力量来进行劈砍、刺杀等格斗动作，主要是依靠射箭来杀伤敌人。只有从小在马背上长大的游牧民族才善于这种高难度的骑射，中原地区的华夏族军队要到较晚的时期才开始组建骑兵。
战国时期一般讲到国家军事实力时往往“车骑”并提，足可见当时的骑兵已和车兵并列为重要的技术兵种。《战策》提到苏秦游说秦王，说秦国有“战车万乘，奋击百万”，“以大王之贤，士民之众，车骑之用，兵法之教，可以并诸侯、吞天下”。范蠡也说“秦卒之勇，车骑之多”，所向无敌。与“车骑对称的“奋击”、“秦卒”应该就是步兵，看来这就是当时军队的三大兵种了。《史记》记载苏秦的话，说是燕国有“带甲数十万，车六百乘，骑六千匹”；赵国“带甲数十万，车千乘，骑万匹"”魏国“武士二十万，奋击二十万”，“车六百乘，骑五千匹"”；南方的楚国则步兵比重大，“带甲百万，车千乘，骑万匹”。总的来说各国的骑兵只占全部军力的5%都不到。
当时华夏族的服装都是宽着长袍骑在马上要做射箭动作很困难。公元前307年，北方的赵国在长期与游牧民族的冲突中痛感骑兵的重要性，国王赵武灵王毅然推行“胡服骑射”，将骑兵的服装改为与游牧民族相同的窄袖短衣，终于建立起可以与游牧民族作战的骑兵。后来任用李牧为统帅，训练士兵骑射，并精选战车1300乘，骑兵1.3万人，“百金之士”5万，弓箭手10万，组成主力部队与匈奴作战，接连打败或降伏匈奴的附属国如东胡、林胡等，使得匈奴在以后的十几年里不敢接近赵国的边境。赵国这支特编的部队步骑比例还是没超过10:1.
战国时期的骑兵仍然还没有马镫，难以进行马上格斗，在野战中一般不在正面进行突击，主要用于包抄、迁回、追击。如李牧以骑兵两翼包抄战术击败匈奴大军。秦赵长平之战，白起以1.5万骑兵截断赵军与营垒之间的联系。骑兵的编制还不大，并不独立执行战役任务。
秦汉时期骑兵已有很多的独立建制部队，比如楚汉相争时，两军有很多称为“骑将”的军官。公元前202年楚汉垓下决战，项羽最后失败，带领800名骑兵突围。刘邦命令骑将灌婴率5000骑兵猛追，一直追过准河。项羽只剩下28个骑兵，被数千名汉军骑兵包围。项羽知道无法逃脱，对手下的骑兵说：“我起兵八年来，打了七十多仗，从来没有打过败仗，所以称霸天下。今天被围困在此，是天要亡我，不是我不会打仗。反正今天我带你们决一死战，一定要打赢它几个回合，突围、斩将、刈旗，让你们知道是天要亡我，不是我不会打仗。”他把剩余的骑兵分为四队，说我为诸位取对方一员将军”，要骑兵四面突击，约好在一个山头会合，他自己大吼一声，乘乱一直冲到汉军人丛中，果然将汉军的一个军官砍于马下。与骑兵会合后，汉军又包围上来，项羽又与骑兵一起突击，杀死汉军的一个都尉和上百骑兵。突出重围到乌江（今安徽和县东北）边再次会合时，28骑只丧失2骑。骑兵们都衷心敬佩项羽。项羽认为是天要亡他，而且丧失了过去带过江的8000子弟兵，无面目复见江东父老，于是把战马送给梢公，要骑兵全都下马步战，与汉军追兵短兵相接，最后项羽受伤自刎而亡。
西汉为与匈奴作战，逐步组建起大规模的骑兵部队，征兵时专门有“骑士”的兵役，朝廷任命专门的“车骑将军”，以后又设立“骠骑将军”、“骁骑将军”等名号，朝廷直属的北军中也有“屯骑校尉”和“越骑校尉”、“胡骑校尉”。汉武帝时期发动多次进攻匈奴的战争，出动的骑兵动辄数以十万计，可见当时军队中骑兵的比重加大，在边境地区已经超过了步兵。东汉保留了西汉时的制度，但军队中骑兵的比重明显下降。几次边境战争中，由内附的南匈奴或羌族部落骑兵起到重要作用，汉族骑兵出动数量不多。如73年窦固等出击西域，89年窦宪等出击北匈奴，汉族骑兵都不到“万骑规模。在中原地区的战争中往往“步骑”并提，在作战时仍然采用混编，骑兵起辅助作用。
东汉末年的战乱中，曹操集团的军事实力很大程度上在于其有一支较精锐的骑兵。比如在200年官渡之战中，曹操亲自率5000骑兵突袭袁绍军后勤基地乌巢，获得决定性胜利。又如211年曹军进攻关中，以步兵诱敌，而以“虎骑”为主力夹击，大败马超、韩遂。这种“虎骑”很可能就是人马都披甲的重装骑兵，说明汉族军队骑兵开始有重装与轻装区别，而且这种重装骑兵已具有野战强攻突击能力。
十六国混战时期(304~439)是重装骑兵全面登上军事舞台的时期。北方游牧民族大批内迁，畜牧业的发展有可能使骑兵用马大量增加；马镫等更为完善的乘马具的发明，大大增加了骑兵在马上的格斗能力；手工业的发展也能够为骑兵提供更完善的防护甲。因此重装骑兵已具有强大的突击能力，成为战场上令人生畏的决定性力量。军队中骑兵的比重也大大增加，如312年汉族军阀王濬组织五万军队进攻盘踞襄国的军阀石勒，石勒先败后胜，在最后的追击战中缴获“铠马”5000匹。可见在王戎军队中重装骑兵至少要占到十分之一以上。28年石勒进攻洛阳，出动的军队中步兵六万，骑二万七千”，骑兵达到全军近三分之一。383年前秦待坚以百万大军进攻东晋，据说步兵有60万，骑兵有27万。可见步骑之比为2:1似乎是当时的惯例。而后来北魏军队动辄出动数以十万计的骑兵大兵团作战，甚至在450年大举进攻南朝刘宋时，出动的骑兵居然达到了60万，营寨绵延3000里。北朝极端重视骑兵的传统也影响到隋唐。
唐太宗是一位轻骑兵(指人披甲、马不披甲的骑兵，人披的甲是两档铠为主，主要遮蔽胸部，或者也叫胸甲骑兵)奔袭战术的积极实践者，他在建立唐朝过程中东征西讨，很多战役都是他亲自率轻骑兵奔袭、突击而获胜。唐代也是古代汉族皇朝军队骑兵的鼎盛时期。按照《通典》所载唐初大将李靖的说法，唐代军队的标准编成是骑兵要占到战斗部队的30%,而盛唐时期全部57万常备军中有16万是骑兵，差不多也占到30%。
唐代中叶起中原汉族皇朝逐渐丧失对于主要马匹产区的控制，军队编成中的骑兵比重也随之逐渐降低。到北宋建立时，军队编成中尽管有相当比重的“马军”，但却大部分是没有马匹的步兵。北宋皇朝千方百计促进马匹的养育，而在农业地区难以放牧大批马群，马匹生产长期萎缩，“马军”也就只能名不副实。这种局面到南宋时更为严重，骑兵补充马匹只能依靠广西等地出产的矮种马，骑兵的比重不到5%。而与两宋对峙的辽、西夏、金、元等游牧少数民族皇朝却以骑兵为主力军，屡屡打败宋军。南宋能够与之一战的部队往往装备有较多骑兵，比如著名的岳家军，以俘获的马匹编练8000骑兵，号“背嵬年”，又编练“游奕马军”，1140年颖昌大战，这两支骑兵与金骑兵进行大规模骑兵会战，获得胜利。
明代在初期为与蒙古作战，极力加强骑兵实力，尤其是在明永乐年间(1403~1425),永乐帝亲自多次远征漠北，每次都出动大量骑兵。1409年邱福率10万骑兵奔袭鞑靼本雅失里，结果是全军覆没，邱福阵亡，明朝廷立即动员组建30万骑兵，也只用了半年多时间。可见当时有强大的骑兵后备力量。但1449年“土木之变”后，朝廷直接掌握的京军几乎被全部消灭，尤其是骑兵损失后再也没有能够恢复到原来的水平。而战马的供应更加困难，从此明军逐步倒退到两宋时期的那种状况，骑兵在军队编成中所占比例不到十分之一。
清代八旗兵的主体是骑兵，而绿营兵则基本是以步兵为主。入关前八旗兵的骑、步比为1:1,入关后仍然基本保持这一比例。而从制度上来看，朝廷规定绿营兵部队一般原则是“马三步七”，但实际上各地均不相同。比如江西、安徽军都是“马一步九”；陕西、甘肃驻军则为“马六步四”。由于清代“马兵”是指级别最高、薪俸最多的士兵，因此“马兵”并不一定是备有马匹的骑兵，连水师的土兵也有相当比例的“马兵。
