「ああ」は自宅、「うん？」は妾宅
愛人の数が7人だの20人だのいわれ、女性の元に通うだけでなく、邸内に妾を囲っていた時期もあった。子供の数も婚外子をあわせると20人だの50人だのいわれている。
例えば、第一銀行頭取などを務めた長谷川重三郎が渋沢の息子であることは公然の秘密であった。関係者にしてみれば、衝撃は、長谷川が渋沢の子であることよりも、渋沢が68歳の時の子どもであったことだろう。また、あまりにあちこちに子供をもうけたため、実の息子と愛人の息子が学校で同じクラスになることもあったとか。
子どもも多いので、子孫の面々も顔ぶれ豊かで、財界人のみならず、孫に指揮者の尾高尚忠、曾孫に競馬評論家の大川慶次郎、作家の渋沢龍彦は栄一の縁戚にあたった。
「令和の今ならばともかく、昔はそういう時代だろ」との声も聞こえてきそうだが、当時でも渋沢は大変な好色家として知られていた。
有名なエピソードがある。
三男が仕事から帰るときに、父親の車に同乗させてもらうことがよくあったが注意点があったという。「御陪乗願えましょうか！」と聞いて「ああ」とすぐに返事があった場合はOKだが、「うん？」のような曖昧の返事の場合は、すぐに引き下がらねばいけなかった。曖昧な返事は「別宅」にいくサインだったからだ。
私生活と功績の大きなギャップ
渋沢の妻の兼子も夫の女性好きには呆れていた。息子に「論語とはうまいものを見つけなすったよ。あれが聖書だったら、てんで教えが守れないものね」とこぼしている。
家族だけではない。小説家の幸田露伴は渋沢の評伝を書いたが、渋沢の好色ぶりは最後まで好きになれなかったという。また、作家の大佛次郎は学生時代に渋沢が妾を囲っていると聞き、「伊藤博文ならともかく、渋沢栄一がそんなことをするなんて」と衝撃を受けたとしている（彼はのちに渋沢の伝記小説を書いている）。
妾が公認されていた時代とはいえ、渋沢の輝かしい功績とその私生活にいかに乖離があったかがわかるだろう。
もちろん、功績はすごい。彼は資本主義の仕組みは熟知していたが、自身の利益を追求することにその仕組みを使わなかった。生涯、公益の人を貫いた。多くの会社を立ち上げたが、それらの会社が日本を代表する企業になりながらも、令和の今、三井や三菱のような財閥を形成していないことからも明らかだろう。
ちなみに、渋沢と三菱グループの創業者の岩崎弥太郎との間には有名なエピソードがある。「向島の決闘」だ。「決闘」といっても、別に、本気で殴り合ったわけではなく、向島の料亭で岩崎と経営に対する考え方について激論を交わしたのだ。