16人の側室とのあいだに53人の子をもうける

家斉が薩摩藩主の島津重豪の娘、近衛寔子ただこ（輿入れにあたって近衛家の養子にした）を正室に迎えたのは寛政元年（1789）2月のこと。実際、この時点で、側室のお万の方は家斉の子を身ごもっており、3月には、のちに尾張徳川家に嫁ぐ長女の淑子が生まれた。

このお万の方は、その後も二女、長男の竹千代、三女の綾姫を産むが、いずれも夭折している（次女は命名前に死去した）。とりわけ世継ぎと期待された竹千代の死去には、周囲の女中たちの落胆は激しかったという。