女好きで知られ、正妻以外にも3男4女以上、子が生まれた

栄一には公式のお子さん以外に、庶腹の子どもが数人存在した。

中でも有名であるのが、第一銀行の「プリンス」として頭取に推され、三菱銀行との合併失敗で辞任を余儀なくされた長谷川重三郎じゅうざぶろうである。かれは栄一の13番目の子どもだったから、「十三」をもじって重三郎と命名されたといわれている。