蒙山大佛開鑿於北齊天保年間,原是蒙山開化寺後的摩崖佛像。唐高祖李淵、唐高宗李治與皇后武則天、後唐武皇帝李克用、後漢高祖劉知遠都曾來此禮佛。元朝末年,蒙山大佛被毀。 1980年的太原市地名普查中,蒙山大佛被重新發現,發現時佛頭已不知去向,佛身埋在土石之中,風化嚴重。 2007年起,太原市對蒙山大佛進行了保護和開發,加固了佛身,並參考太原出土的北齊佛頭新修了高12米的佛頭。
由於大佛的岩體為疏鬆的砂岩,風化、崩塌相當嚴重,佛像衣紋服飾已無法辨認。佛像的胸部存有若干排小方孔,據推測為重脩大佛時留下的遺跡。後來的研究者認為,蒙山大佛可能是釋迦牟尼佛。理由之一是《重修蒙山開化寺莊嚴閣記》提到成招提之勝因,侔釋迦之真相,另一個理由是北魏開鑿的雲岡石窟第20窟的釋迦佛也是施禪定印和結跏趺坐,與蒙山大佛相同。