家康は武田軍の接近にまったく気づいていなかった
そこに運悪く、九ツ時（昼12時頃）から降雨となり、それはまもなく豪雨となったといい、富士川の水嵩が増えていったという。北条軍に動きのないことを確認した勝頼は、家康撃滅の好機を見逃せぬと、富士川の渡河を強行した。だが増水した富士川に吞まれて、多くの犠牲者が出たという。武田軍は、それでも駿府に急行し、家康を捕捉しようと躍起になっていた。これは24日のことと推定される。
武田軍の接近にまったく気づいていなかった徳川軍のもとへ、9月25日、一人の僧侶が駿府から駆けつけてきた。この僧侶は、家康家臣大久保忠世の家来・嶋孫左衛門の甥・越後という人物であったという。彼は家康に、「勝頼が接近してきているので、一刻も早く撤退したほうがいい」と言上したという。ここで初めて武田軍の接近を知った家康は、急ぎ全軍に撤退を指示した。家康は、軍勢をとりまとめ、その日のうちに色尾から大井川を渡河して遠江に無事撤退を完了した。
絶好のチャンスを逃した勝頼は落胆して悔しがった
勝頼が駿府に到着したのは、25日夜のことであつた。すでに家康は陣払いをしており、陣所の跡は、取る物も取りあえず急ぎ撤退した痕跡が明瞭であったという。家康をすんでのところで逃がした勝頼は、切歯扼腕して悔しがった。
彼は「戦ってはならぬ長篠で合戦に及び、戦わねばならぬ今度の好機を逃がしたことは残念だ。家康を駿河に取り込んで撃滅できれば、織田信長が如何に勢力を大きくしようとも、家康なくして武田との合戦は思うに任せないはずだ。家康を討ち滅ぼし、遠江・三河を手に入れれば、信長の領国尾張に出兵することも可能となり、武田も勢力を持ち直したであろう。今ここで家康を取り逃がしたのは、わが運の末である」と嘆じ落胆したと伝わる（『三河物語』）。
間一髪で勝頼の襲来をかわした家康は、9月28日まで色尾に在陣し、勝頼の動向を窺っていたが、北条氏政より作戦終了と撤退を知らせる使者を受けると、10月1日浜松城に帰還した。
勝頼は、その後も駿河に在陣し、高天神城に警備の強化を指示するいっぽう、穴山信君が在城する江尻城の大改修を実施させている。この大改修で、江尻城には「百尺城楼」と呼ばれた高層の櫓が建設された（戦武3187号）。この高層の櫓は、武田氏が築いた天守だとする論者もいるが、その詳細は明らかになっていない。