小田原北条氏の家臣である甘糟長俊が、１５７９年（天正７年）、木造の神像を勧請したとされている。その神像は現存している。
　神仏への信心が篤い人物であった長俊は、常楽寺の文殊菩薩像の修理も行った。
　明治時代に神仏分離令が出されるまで、隣接する多聞院が別当寺であった。
　末社の金刀比羅社には崇徳上皇が祀られ、１６２５年（寛永２年）、甘糟時綱が字神明下にあったものを境内に移したと伝えられている。