殊像寺位於普陀宗乘之廟西面,獅子溝北麓。乾隆二十六年(1761年),弘曆陪皇太后到山西五台山文殊菩薩道場殊像寺進香,見文殊妙相莊嚴,令人起敬,“默識其像以歸”。佛經中釋迦有“東方主尊菩薩是文殊,有時現比丘像,有時現國王像”預言。而“ 文殊 ”又譯“曼殊”,“曼殊”與“ 滿洲 ”音近,所以西藏達賴喇嘛進丹書時,稱清朝皇帝為“曼殊師利大皇帝”。
又因清廷有乾隆皇帝出生承德獅子溝傳言;進而有人就附會說乾隆皇帝是文殊菩薩轉世。乾隆和太后對此不加可否,任說其說。回到京師,太后就令人按五台山文殊模樣雕刻石像供於香山寶相寺。乾隆三十九年(1774年),弘曆特命內務府仿五台山殊像寺規制,按香山文殊相貌在承德修建此廟。殊像寺落成時,乾隆參加瞻禮,並作詩道:“殊像全規台廟模,撰辰慶落禮曼殊。金經蒙古猶常有,寶帙皇朝可獨無?譯以國書宣白業,習之修士翊浮圖。雖然名實期相稱,師利應嗤謂是乎。”該廟喇嘛皆為滿族,故清廷稱此廟為家廟。