当山は、天平7（735）年、聖武天皇の勅願によって行基が開創したと伝えられています。その際、行基が大和の国から数百の工人を率いてこの山に分け入り、堂塔伽藍の造営がなされ、自作の鉈彫十一面観世音菩薩を本尊仏とし、寺号を「施無畏山宝樹院長福禅寺（せむいざんほうじゅいんちょうふくぜんじ）」と名付けられました。

その後、釈迦院、文殊院、不動院、多聞院、如法堂、桜本房などの三十六院が整備され、僧坊も多数あり、幾多の堂宇が立ちならび三重塔ならびに本堂を中心として、一山形式を取り、富谷山全体が聖地霊山にされたと伝えられ、朝廷より主田千百余町歩を賜り勅願寺になりました。

また、慈覚大師が東北遊化の際、大師自刻の不動明王と多聞天を脇侍として七堂伽藍が整えられたと伝えられています。

平安末期の久寿2（1155）年から暦仁元（1238）年にかけてこの地方を支配していた、下野国の「小山下野守朝政」は当山に帰依して大いに外護し、そのおり「長福禅寺」から「小山寺」に改められました。朝政は、後年出家し法名を「生西」と名乗り、その4年後に亡くなっております。　

豊臣、徳川など各時代の領主から二十石の朱印を安堵され明治維新まで続きました。

昭和59（1984）年に、山形県寒河江市慈恩寺の大日如来坐像の体内から発見された経文の奥書に「常陸国笠間郡小山寺、大檀那長門守藤原朝臣時朝」と記されていたことで、当時の「笠間城主笠間時朝」より小山寺に寄進された大日如来が慈恩寺に移されたことが明瞭になりました。