側室が家斉に言った強烈な嫌味
花も愛した。自ら花を生け、小姓たちに花生け（花器）などを与えている。老木や竹根など天然の素材を花と組み合わせるのが好きだったようだ。だから諸侯から銀などをあしらった生け花が届くと、機嫌が悪くなったという。
あるとき御座所に家斉が植えた牡丹数株のうち、色がうつろいたる（変色した）ものがあった。それを見つけた家斉は、「これは衰たり。見るべくもあらず」（『徳川実紀』）と述べて破棄するように命じた。
すると近くにいた側室が、「牡丹はそれでよろしいのでございます。上様の召し使う奥女中も同じこと。また、表向きの政治に携わる役人も、色がうつろったときこそ役に立つのです。仕えはじめたころは、誰もが新鮮で時めいて見えるものですが、花の色がうつろうようにだんだんと目立たなくなります。でも、そうなってからこそ、お役に立つのです」と述べたので、家斉はその側室に対して、「さてもよくぞ申した」と褒めたという。が、これはその女性の家斉に対する強烈な嫌味だろう。
手当たり次第に手を付ける女癖のひどさ
とにかく家斉の女癖はひどかった。手当たり次第に手を付けていった。もちろん大奥は、将軍の子孫を残すための場であるものの、彼には節操がなかった。
その精力は、驚異というほかはない。なんと16人の側室（異説あり）をもち、17人の女性から男27、女27、あわせて54人の子供を産ませているのである。もちろん当時のことだから、そのうち半数近くが早世してはいるものの、それでも男13、女12が成人している。
15歳で将軍職に就いた家斉は、17歳のとき、薩摩の島津重豪の娘・寔子を正室に迎えるが、ほぼ同時期、すでに年上のお万という女に手を出し、子を産ませている。
長女の淑姫である。
「薩摩いも、ふける間を待ち兼ねて、おまん（饅頭）食うて、腹がぼてれん」
この事実を落首にして、庶民は囃したてた。
以後、文政10年（1827）に55歳になるまでの約40年間、家斉は子づくりに励み続けた。気に入った女性には、ことごとく手を付けたと伝えられ、文化10年（1813）には、年間4人の子供をもうけている。
そのため、家斉の時代は大奥の全盛期となり、女性の数は1500人を超えたという。
諸藩に子供を送り込んだ家斉の野望
それにしても、家斉の子供の数は異常である。単に好色だったということだけでは、説明がつかない気がする。
あくまで推測だが、次々と子供ができていくうち、家斉のなかにある野望が芽生えたのではないだろうか。その野望とは、他家乗っ取りである。
江戸時代、大名家はおよそ270あったというが、なんと家斉は、御三家をはじめとして、会津、加賀、福井、安芸、仙台、佐賀といった雄藩に、合計27人の我が子を養子や嫁として送りこんでいる。その数は、全大名家の10分の1に匹敵する。驚くべき数字である。
家斉は、大藩のすべてを自分の血筋の者に継がせ、将軍家の縁戚にすることによって、将軍独裁を狙ったのだと思う。
続々と誕生する子供たちを、新たに大名に取り立てることは財政上困難、それを表向きの理由に、家斉は諸大名家に次々と我が分身を送り込んでいった。