今でいう「ポロ」の腕前は群を抜いていた
運動神経もよく、乗馬が趣味だった。毎年冬には吹上の馬場に良馬で有名な南部仙台の馬を集め、家臣たちが乗るのをみて、自らよい馬を選んで札をつけるなど、馬の目利きにも長けていた。
また、馬術の奥義を究めたとされる。とくに打毬を好んだ。これは、馬に乗って杖（スティック）を使い毬（ボール）を門（ゴール）へ投げ入れるポロに似た競技である。
将軍・吉宗が復活させたものだが、家斉は五十三間もある馬場で打毬をおこなったさい、馬場の端にある毬門に正確に毬を投入したという。近習も老臣も家斉の腕にかなう者はいなかった。
馬、鷹狩り…趣味にはとことんのめり込む
鷹狩りも好きだった。祖父吉宗が好んだと知り、幼いころから鷹狩りをしたと『徳川実紀』にあるが、おそらく補佐役の定信が家斉を文武両道の名君にしようとして勧めたのだろう。
だが、馬と同様、非常に熱を上げ、成人してのちも鷹狩りを頻繁におこない、厳冬期の風雪を冒してまで鶴などを狩った。
若いときは放った鷹が鶴を捕らえ、地上に下りると、自ら駆け寄って鶴を取り押さえたこともあった。だが、嘴で怪我をするからという老臣の諫めにより、そうした行為はやめたというが、鶴が捕獲できると御膳所まで行き、しばしば鶴の血液を入れた「鶴血酒」をつくらせ、家中にふるまったそうだ。
家斉の鷹狩りの技術は卓越しており、風の逆順、地形の善し悪しなどを自ら見定めて鷹を放ち、巧みに獲物を捕らえたので、老練な鷹師も家斉の腕前に感服するほどだった。
家斉は経験だけでなく、鷹に関する研究書も読みあさって理論的に鷹狩りの技術を向上させていった。諸家に所蔵している本まで提出させ、数百部も集め、自ら研究したのである。本の内容はほとんど暗記してしまったという。
三国志が好きで諸葛孔明の絵をよく描いていた
ちなみに家斉は家治同様、異常な記憶力の持ち主だった。
たとえば、弓馬始めなどの家臣の武芸披露のさい、多くの諸士が技を披露するが、家斉は後日、その者たちの姓名だけでなく、「其人々の品格までもよく御覚あり」、「誰はかやう。誰々はかやうの人物など」と話すので、「いかでかくは御覚あることよと。御かたはらの人々ひそかにいひあへり」（前掲書）と大いに驚いたという。
文化系の趣味としては、絵をよく描いた。といっても、もっぱらそれは諸葛孔明の絵であった。家斉は読書好きで、とくに『三河記』や『家忠日記』、『北越軍談』、『甲陽軍鑑』といった家康やその時代に関係する日本史を乱読し、暗記するほどだった。
家斉はいう。「吾邦（日本）の事なれば其儘（そのまま）に活用し易し。海外の事蹟（じせき）捜索せんことは津涯（かぎりない）なければ。渉猟（探し求める）するにいとまなし」（前掲書）
このように日本史は日本の出来事なので、いまに活かしやすいが、世界史はあまりに範囲が広すぎて調べきれないといっている。
とはいえ、歴史のなかで三国志が大好きで、よく家中にも折に触れて諸葛孔明の活躍を語ったという。休息所の杉戸などにも絵師に命じて孔明の像を描かせ、自分でも頻繁に孔明の像を描いては家臣に与えたのである。