北条時政も政子と頼朝の仲を認めなかった
ちなみに、実は政子が政子を名乗るのは頼朝の没後（政子62歳の建保6年4月14日、従三位叙位の時）であり、よって頼朝は政子を「政子」と呼んだことは一度も無いのであるが、この本では他に呼びようがないので最初から政子で通す。
時政の本拠地北条は、蛭ヶ小島のすぐ近所である。北条氏は兵力、伊東氏の10分の1以下、多目に見積もっても30騎に満たない土豪である。
頼朝は時政の京都出張中に政子に手を付けた。八重と全く同じパターンなのに呆れる。どうも頼朝は、こと女性関係では失敗から学ぶという機能を持ち合わせていなかったらしい。
帰郷した時政は伊東祐親と同様に2人の仲を裂いた。政子を別の男に嫁がせたのである。
このことから、伊豆の武士たちにとって、頼朝が厄介な存在であったことが理解される。頼朝は武士としては最高級の血統であるから、伊豆を含めた東国の武士たちは敬意を持って接していたが、大切にしているからとて、では、婿に迎えるかと言えば、話は別である。貴種の血統は利用価値もあろうが、利用するには危険な存在であった。
それでも政子はあきらめず、頼朝のもとへ
こうして頼朝は再び妻を失った。頼朝にしてみれば、「またダメだったか」程度のことだったかもしれない。
しかし、政子は違った。彼女は八重とは異なって自身の感情に従い父の意志を振り切って、頼朝のもとに奔ったのである。後に政子はこの時のことについて頼朝に向かい、
「暗い夜に道に迷い、ひどい雨に濡れながら、あなたのところに行ったじゃない」
（暗夜に迷い、深雨を凌ぎ、君の所に到る）
と言っている（文治2年4月8日条）。
頼朝と政子は、伊豆山神社に逃げ込み、伊豆山に保護された。手に手を取って二人で伊豆山に向かったのか、頼朝が転がり込んでいた伊豆山に政子が来たのかはわからないが、とにかく頼朝はまたも伊豆山を頼ったのである。
伊豆山神社は奈良時代創建と伝える修験道の聖地であり、平安時代末期には、伊豆はもちろん、東国一帯から篤い信仰を集めていた。また、武力として多数の衆徒（いわゆる僧兵だが、僧兵は江戸時代の言葉）を抱えていた。宗教的権威としても、現実の軍事力の面でも、伊豆山神社の庇護下に入った者には、何者もおいそれと手出しはできない。頼朝は二度も伊豆山神社のお世話になったが、その選択は正しいと言うより、当然であった。