各所に住む「一友人」の宅に頻繁に立ち寄る
渋沢秀雄はこんなことを書いている。
「私は父の明治四十二年の日記を見ていたところが、夜の宴会へ招かれたあとなどに、ときたま『帰宅一友人ヲ問ヒ、十一時半寄宿ス』と書いてあるので、思わず失笑したことがある。宴会帰りに『おい、きたぞ』と立ちよるような、打ちとけた友人を持っていなかった父の『一友人』は、二号さんなのである」（渋沢秀雄『父渋沢栄一』）
そして明治末年から大正初年ごろのことか。夜、秀雄と兄の正雄は、時々、兜町の事務所から帰宅する栄一の自動車に乗せてもらったそうだが、正雄が「ご陪乗願えましょうか」と打診して、「ああ」という返事のときはまっすぐ帰宅だが、「うん？」という曖昧な返事のときは、自動車が本郷四丁目の角を左に曲がる晩だったという。
本郷真砂町のあたりに「一友人」が住んでいたのだ。
当時の学生から見た渋沢栄一像
本郷の妾といえば、大佛次郎著『激流 渋沢栄一の若き日』に、こんな逸話が書かれている。
大佛が本郷の第一高等学校の寄宿寮にいたころ、友人の一人が「渋沢栄一って、妾があるんだってな」と言ったそうだ。
だれかが「渋沢さんて、人格者なんだろう？ 妾なんて持つかしら……」と問い返したが、「あすこに質屋があるだろう。あの少し先の横手の道を入ったところだってよ。渋沢は、人力車で、こっそり来るんだって」
「その家に赤ん坊がいて、渋沢の顔にそっくりだってよ」。
大佛たちは、待ち伏せして渋沢の顔を見てやろうと盛り上がる。結局、それは実行されなかったが、「伝え聞く渋沢栄一の円満な人格や、社会的な活動の模様はその当時の私たちの心を知らずしらず惹きつけて」、「尊敬の念さえ抱いて」いただけに、「なんとなく堪忍出来ないような気持が動いた」のだそうだ。
自ら「俯仰天地に愧じることなし」と公言していた渋沢の人格者ぶりは、学生に伝わっていても、美人に関しては除外されていることまで、学生は知らなかった。
ただ、大内くににしたように、女性たちにはいつもしかるべき行先を用意し、恨みを買わなかったことも、「人格者」という伝説につながったのだろう。
ちなみに大佛が一高生だったころ、栄一はすでに「後期高齢者」だった。
「若気の至りでつい…」
佐野眞一『渋沢家三代』（文春新書）にはこんな逸話が記されている。
第一銀行頭取などを務めた長谷川重三郎が栄一の息子であることは、「関係者の間でよく知られ」、明治41（1908）年生まれの長谷川は、栄一が68歳のときの子になるという。それに触れられると、栄一は「『いや、お恥ずかしい。若気のいたりで、つい……』といって、禿げ頭をかいたという」。
昔からこの長谷川が、本郷真砂町の妾の子だと噂されてきたという。