南岳衡山为五岳之一,《史记·封禅书》称汉武帝元封(前110-104年)五年(前106年)登礼潜之天柱山，号曰南岳。这个南岳并不是今天湖南南岳衡山，而是指今天的安徽霍山，当时也称潜山、衡山，在唐以前被列入五岳。唐以后改安徽南岳霍山为湖南南岳衡山，据《古今图书集成.神异典》卷二三引《衡岳志》曰:唐太宗贞观(627-650年)中定祀南岳衡山于衡州。《三教源流搜神大全》 卷一:南岳衡州衡山县是也。衡州即今天的湖南衡阳市，衡山县即今之衡山县。
对于南岳大帝的来历，诸书记载不一。《重修纬书集成》卷六《龙鱼河图》载:南方衡山君神，姓丹名灵峙。南方霍山将军，姓朱名丹。一云衡山君烂洋光。《三教源流搜神大全》引东方朔《神异经》云:南岳神姓崇，讳。《历代神仙通鉴》则认为伯益即南岳后身，为庆华注生真君,真君崇覃(金蝉长子)。《封神演义》 中则封崇黑虎为南岳衡山司天昭圣大帝。
至于南岳大帝的神职，《历代神仙通鉴》卷四认为其主于世界分野之地，兼督鳞甲水族变化等事。又称:伯益乃南岳之后身，伯益相传是禹时人，曾佑禹治水，有功,(禹)以天下授伯益，伯益辞而隐居。至今在南岳衡山仍有当年大禹治水的禹王石。
道教沿袭这种信仰，据道经《太仙求仙定录尺素真诀玉文》《上情众经诸真圣秘》等道经记载:南岳君讳祝昌,南岳衡山君，姓讳洋光，头建八朗宝光玉冠，衣赤锦飞裙，披神光绯文之表，带封灵制魔之章，乘赤霞飞轮，从南岳仙官十二人。《云笈七羲》 卷七亦曰:南岳衡山君，领仙七万七百人，服朱光之袍，九丹日精之冠，佩夜光天真之印，乘青龙。并称霍山为其储君，青城山为其丈人，庐山为其使者，其所服之袍、所乘之，龙皆为赤色，这是因为，五行之中，南方色赤。
唐玄宗时，封南岳大帝为司天王，宋真宗大中祥符四年(1011年)五月廿五日，追尊号曰:司天昭圣帝，与景明皇后配祀。
另据《癸辛杂识》记载:衡岳之庙，四门皆有会郎神,唯北门主兵。朝廷每有兵事，则前期差官致祭。沈作哲《寓简》亦曰:衡山南岳庙，国家每大出兵，则遣使祭告。旧时全国各地均建有南岳庙，以湖南衡山南岳大庙最为著名。
