補陀洛寺開山の文覚上人は、もとは遠藤盛遠という武士であった。
　渡辺（源）渡の妻袈裟御前に懸想し、誤って殺してしまったことから、罪を償うために出家し、熊野山中で修行を積んだといわれる。
　のちに、後白河法皇に神護寺再興の勧進を断られ、そのことに対する悪口を言ったため、後白河法皇の怒りをかい伊豆に流された。その時に源頼朝と出会っているようで、頼朝の挙兵を促したとされている。