平安時代から鎌倉時代にかけて、神仏習合思想に基づき神社を実質的に運営する神宮寺が各地で置かれたが、『諸国一の宮』では四国八十八箇所の第一番札所霊山寺が当社の神宮寺であったと述べている。