江戸時代以前は四国八十八ヶ所の第68番札所だった。明治初年、神仏判然令により観音寺と分離、琴弾神社と称するようになった。また、四国68番霊場の本尊であった本地堂の阿弥陀如来像は観音寺の西金堂に遷され、琴弾山神恵院と称するようになった。四国八十八ヶ所のうち、68番と69番が同一境内に同居しているのは、このためである。