尧舜时，伯夷因佐大禹治水有功，封于今新蔡为吕国。
据《史记—管蔡世家》记载：周景王十六年（前529年）春，楚公子弃疾在灭蔡后，回师袭击了楚灵王。灵王被迫自缢，弃疾遂自称楚（平）王。楚平王为了建立自己的势力，复立蔡灵侯少子姬卢为蔡（平）侯，蔡平侯为依附于楚，从上蔡迁都吕城，并将吕城改称新蔡，以别旧都。
周敬王十三年（前507年），蔡昭侯、唐成公，为报楚令尹子常（囊瓦）的勒索和被拘三年之仇，背叛楚国，与晋、吴结盟。
周敬王十四年（前506年）11月18日，吴、蔡、唐三国联军在柏举（今湖北省麻城市境内）一举击溃楚军主力。11月29日，联军攻入楚国郢都。
周敬王二十六年（前494年）正月，恢复元气的楚国为报柏举之仇督师伐蔡，围城九日，蔡人乞降，楚乃撤兵。次年，蔡昭侯为与盟友吴国相呼应，东迁州来。蔡国在新蔡共历平侯、悼侯、昭侯三君，共36年。
新蔡在为吕之都时即有城池。故城遗址在今县二高东，东西呈长方形，史书记载东西5里，南北4里。周长8615米，占地580余万平方米。故城东南隅尚有1415米城墙保存，故城城墙现存2—10米高，20—50米宽，均为夯土结构。
前221年，秦灭六国，统一天下，于此置新蔡县。
西汉末年，新莽篡位，新蔡更名新迁县。东汉建武元年，仍复名新蔡县。
东魏武定七年（549年），于新蔡设蔡州。北齐天保六年（555年）废蔡州。
隋文帝开皇十六年（596年），析新蔡县北境在今韩集设舒州及附廓舒城县，新蔡县改为广宁县属舒州。现新蔡县月亮湾公园有一条路叫舒州路，就是来源于此。炀帝大业二年（606年）废舒州及附廓舒城县，并入广宁县并复名新蔡县。
元世祖至元三年（1266年），省新蔡入新息县，属息州。次年11月，于县城置新蔡提领所。明洪武四年（1371年）复置新蔡县至今。
新蔡县内至今仍保留着雕廊画栋，金碧辉煌的文庙，内有明末敬立的孔子全身铜像。
新蔡文庙创建于元大德八年（1304年），大成殿为单檐歇山式高台建筑，面阔五间。殿内正中神台上，端坐着我国唯一的一尊明代孔子青铜像。铭文为“大明赦封刑部主事曹大夏于嘉靖庚戊年（1550年）长至日恭造”。
县城南有子路问津碑，青石，碑阔50公分，高2米余。刻有“子路问津处”五个楷字。《史记—孔子世家》记载：鲁哀公六年（前489年），孔子自楚返卫，路过新蔡城南关津，使子路问津于长沮、桀溺两位隐士。
