しかし次の石橋山の戦いに敗れ、すぐに敗走。千葉県へ逃げていきます。当時の千葉県は、上総・下総・安房に分かれていました。

頼朝が安房に逃れた時、上総広常という、名前からして地元の実力者が、二万と言われる兵を連れてやってきます。「俺がいなけりゃ頼朝なんかはやってられんだろう」とばかりにナメた態度で遅刻してきます。その広常に頼朝は「来るのが遅い」と思いっきり叱責します。広常は平伏、関東の武士が頼朝の下に集まってきます。