段志玄是齐州临淄人，“志玄”是他的字。新旧《唐书》都没有写明他的名。根据《昭陵碑石》一书考证，段志玄的名字应该是“段雄”。他出生在一个小官吏家庭。他的父亲叫段偃师，隋炀帝时在太原郡当司法书佐，大概相当于现在法院里的文书，专门从事司法文书的起草和整理。当李渊到太原任职后，段偃师认识了李渊。李渊起兵反隋，段偃师便投到他的门下。因功封郢州刺史。
因为父亲的这层关系，段志玄很早就认识了李世民。这为他后来的功名奠定了基础。从这一点来说，家庭出身对一个人的命运非常重要。段志玄生于隋开皇十八年（公元598年），和李世民同岁。两个相同年纪的人在一起，应该有更多的话题吧。李世民很喜欢段志玄，两人关系不错。李渊起兵后，作为年轻人，段志玄也没有闲着，他积极到各地去招募士兵，因功被授予都督府军头的职务。
在此后的一些列战役中，段志玄都参与其中，而且冲锋在前，展现了年轻人无所畏惧的勇猛劲头。就凭着这股子冲劲，他一路升迁到左光禄大夫。
在潼关战役中，大唐的开国元老刘文静率领的军队被屈突通的得力干将桑显和率兵击溃，刘文静也被围困。作为刘文静副手的段志玄，奋力拼杀。率领二十余骑骑兵冲入敌阵，击杀敌军数十人。段志玄脚上别箭射中，但是考虑到安定军心，他硬是没哼一声，忍而不言，再次带领骑兵冲击敌阵，以一己之力打乱敌军的阵势。唐军士气大振。本已显出疲态的桑显和无心恋战，士兵溃散。
段志玄没有给桑显和喘息机会，继续率军攻击，桑显和全军覆没，只身逃窜。在唐军的强大攻势下，桑显和投降到刘文静阵营。段志玄带领桑显和一起继续进攻屈突通。屈突通就地设防。在段志玄的带领下，桑显和秘密潜入屈突通军营，说服了大量旧部。屈突通营中一半士兵放下武器，自愿投降。屈突通见大势已去，只好投降唐军。
屈突通到长安面见李渊，李渊非常高兴。大赏功臣。段志玄被授予骠骑将军。
在跟随李世民平定各方割据的过程中，每次战役都有突出表现。在攻打王世充的过程中，段志玄身陷重围，战马被射倒在地，一群士兵将其围困，并擒住。他双手被绑住，两个骑兵揪住他的发髻，拖拽而行。段志玄奋力跃起，将一人扳倒马下，躲马而逃。敌军追者数百，但始终不能靠近，就这样眼睁睁看着一员大将从眼皮子底下逃走。
在平定各方割据的过程中，段志玄跟随李世民左右，战功累累，被李世民纳入秦王府，任护军将军，成为李世民的心腹。
,
