这个成语来源于公元九世纪中国唐代作家李公佐的小说《南柯太守传》。
相传唐代有个姓淳于名棼的人，嗜酒任性，不拘小节。一天适逢生日，他在门前大槐树下摆宴和朋友饮酒作乐，喝得烂醉，被友人扶到廊下小睡，迷迷糊糊仿佛有两个紫衣使者请他上车，马车朝大槐树下一个树洞驰去。但见洞中晴天丽日，另有世界。车行数十里，行人不绝于途，景色繁华，前方朱门悬着金匾，上书“大槐安国”，有丞相出门相迎，告称国君愿将公主许配，招他为驸马。淳于棼十分惶恐，不觉已成婚礼，与金枝公主结亲，并被委任“南柯郡太守”。
淳于棼到任后勤政爱民，把南柯郡治理得井井有条，前后二十年，上获君王器重，下得百姓拥戴。这时他已有五子二女，官位显赫，家庭美满，万分得意。
不料檀萝国突然入侵大槐安国，大臣们推荐淳于棼上阵杀敌，可是淳于棼对带兵打仗一窍不通，只能硬着头皮率兵拒敌，屡战屡败；金枝公主又不幸病故。淳于棼连遭不测，辞去太守职务，扶柩回京，从此失去国君宠信。他心中悒悒不乐，君王准他回故里探亲，仍由两名紫衣使者送行。 车出洞穴，家乡山川依旧。淳于棼返回家中，只见自己身子睡在廊下，不由吓了一跳，惊醒过来，眼前仆人正在打扫院子，两位友人在一旁洗脚，落日余晖还留在墙上，而梦中经历好像已经整整过了一辈子。
淳于棼把梦境告诉众人，大家感到十分惊奇，一齐寻到大槐树下，果然掘出个很大的蚂蚁洞，旁有孔道通向南枝，另有小蚁穴一个。梦中“南柯郡”、“槐安国”，其实原来如此！
区区一个神奇的梦，白驹过隙的时间却走完了一辈子，醒来之后的淳于棼不由得很失望，空欢喜了一场，其实人生亦是如此，不努力永远是竹篮打水一场空。这个故事揭示对人生的无力感与命运的无奈感时还采用的一个方式是对人生必然性的揭露。
所谓盛极必衰、荣华无福祸相依”人生哲理。
南柯一梦，浮生已了。叹无情，花开花落终有时。枉此生，梦醒梦终无人聆。
,
