罗睺寺位于五台山台怀镇显通寺和十方堂之间，始建于唐代。唐代时，罗睺寺是大华严寺（今显通寺）的十二院之一，名为善住阁院。罗睺寺是五台山保存完好的十大黄庙之一和五大禅寺之一，寺内两幢木构小楼以接待十方客人而闻名。
据佛教经典记载，释迦牟尼之子名“罗睺罗”，是释迦牟尼佛在俗时的儿子。他十五岁随佛出家当沙弥。他“不毁禁戒，诵读不懈”，证了阿罗汉果，被称作“密行第一”，成为释迦牟尼佛的十大弟子之一。传说他曾在罗睺寺所在地显圣，并留下足迹。因此，罗睺寺即是祀奉罗睺罗的寺庙。
释迦牟尼经过六年的苦行，后来在菩提树下成道．悟通了诸法无常和缘起诸理，开始传教。传说，罗睺罗在母亲肚里怀了6年，于释迦牟尼成道之夜降生。在释迦牟尼成道第6年时．他应父亲净饭王之请，从摩竭陀国回国省亲，认子释疑。
罗喉罗因是净饭王的王孙，佛陀的爱子，在僧团中地位很高，经常受到称赞。佛陀对他要求特别严格，教育他严持毗尼、精进修道。
佛陀赞叹说：在我的弟子中，罗喉罗比丘是“密行第一”。后成为释迦牟尼佛的十大弟子之一。罗喉罗是佛教徒敬奉和崇拜的偶像之一。所以，全国许多地方有奉祀罗睺罗的寺庙。五台山也不例外。五台山佛教徒说，罗睺罗曾在寺中显圣，并留下足迹。因此，罗睺罗是朝山佛教徒必定要参诣的地方。
据传，罗睺寺过去香火鼎盛，尤其是黄教的信徒，经年络络不绝，它成为五台山黄庙中很有影响的一座寺院。在山门前有一对唐代石狮，雄壮威严。
罗睺寺文殊大殿内的骑狮文殊菩萨像面部并非金色而早呈乳白色，故名白文殊；文殊菩萨的坐骑狮子卧在莲台上而不是站着或卧在砖台上；肩膀两边伸出肩花，花在分别放着经书和智慧剑。这些都体现了黄庙中文殊像的特点。
顺弯曲的夹墙石道来到山门前，门两旁的石狮，一雄一雌，硕大雄浑，威武壮猛。台怀中心区诸寺多雕有石狮，而唐代的遗作惟有此一处。山门里一共四重大殿。
