唐朝时候蜀地有一商人载货行船于岠山前泗水之中。船队逆流而上，航速虽慢却很平安。突然，狂风大作，波澜滔天，直刮得商船樯倾楫摧、篷裂绳断。眼看船将下沉，人命难保。此时，商人惊惶万状，呼天天不应，叫地地不灵。无奈之中，举目北望，见岠山之上云雾缭绕，大小数峰连绵起伏，状若一仙妇横卧，以为山神奶奶显灵。商人急忙祷告说：“山神奶奶保佑，若保我度此难关，我一定来此广修庙宇，塑镀金身，常年香火供奉。”愿毕，果真风息浪宁，转危为安。事后，商人诚感山神奶奶的灵验，就来此修建奶奶庙。
奶奶庙建在主峰南面，依山势座北面南，前低后高，共分十二进院落。每院地势落差丈余，院子虽不大，但都有东西廊房。青墙黄瓦，画栋雕梁，实为壮观。庙内诸神塑像俱全，天宫地府、玉皇王母、地藏阎罗、十八罗汉、佛祖观音等都有，所以又叫全神庙。沿山下石头小径拾级而上直达庙门。门前有石鼓、石狮各一对。一院一碑，挺然而立。门碑上刻着建庙经过及十大山主姓氏：苏席冷淡何，宋陈李杨花(是当时建庙的周边十大家)。院内有仓房、药房、厨房、僧房及经堂，多时僧众达数十人。后大殿正中佛床上躺着泰山奶奶塑像。来此参拜的人若不意触动门槛上机关，睡像则霍地坐立起来，双手合十，面貌慈祥，栩栩如生，如 同活人一般，使人惊叹不已。
按照习俗，每年农历三月十五日在这里逢庙会。周边各庄玩春会的也来此抛纸，表示农忙即将开始．演出到此结束。那时候，山上鞭炮 声、锣鼓声此起彼落，不绝于耳；四方赶会之人扶老携幼，摩肩接踵，红男绿女，拥满山上山下；山坡上商贾云集，买卖兴隆；信男善女来此求药、问签的络绎不绝。人数之众每年都多到万人以上。庙会范围之广，把山下的华佗、渊公、及山上的全神三庙连为一体。这样年复一年直到 一九五一年才告终止。
民国初年，该庙成了土匪窝脏、藏匿之所，周边百姓深受其害，因此山民于民国十二年愤而拆除庙宇，把器材运到山下，修建了学堂。
二十世纪九十年代，古邳镇人民政府集资在原址上复建其庙，并根据传说建成康熙行宫。红砖黄瓦，庄严肃穆，庙内各路神仙塑像及康熙塑像都有成为岠山重要景点之一。
