寺伝によると、正平7年(1352)に新田一族が信濃宮宗良親王を奉じて武蔵に足利軍と戦ったとき、新田六郎左衛門政義の三男、矢島三郎信氏の子孫である矢島内匠、同図書が戦いに破れ、結城氏一族とともに沼袋村に来て、一家屋を建立したのが当寺の起源であると伝わっている。中興開山第1世は権大僧都専尊で、寛永慶安年間に本堂を建立した。文政7年の霊界日鑑下には、法流開基を元文3年(1716)7月に法流相続をした快仙とし、中興開山を天明2年(1782)2月7日に没した法印長恩と記してある。

その後、幾多の変遷があり、一時荒廃し、他の寺の兼務寺であったこともあるが、昭和56年に本堂も落慶し今日に至っている。現在でも矢島姓を名乗る檀信徒が半数以上を占め、別名「矢島寺」とも呼ばれている。