菅は横浜市議の後、1996年の総選挙で神奈川2区から自民党公認で初当選し、以後連続6回当選を続けている。初当選が同期の平沢勝栄（現自民党政調会長代理）が印象を述べる。
「裏方に徹する、絶対に裏切らない、口が堅い、ひたすら尽くす。いろいろな人の意見を聞く。自分では喋らず、徹底して聞き役になる。官房長官に打ってつけです。安倍さんは後ろを振り向かずに一人で突進する面があるが、抑え役としては最高のコンビです。公務員制度改革の問題でも、役人が表立って何も言わないのは、高い内閣支持率もあるが、菅さんの存在が大きい。政治家としてさらに大きく伸びると役人が見ているからだと思う」
菅は就任以前に一度、07年8月の第一次安倍内閣の改造で官房長官候補と見られたことがあったが、自身の事務所費問題が報じられて「幻の官房長官」に終わった。5年後にやっと実現したが、官房長官は「一度はやってみたいと思っていた」と明かした。
目立たない存在の野球少年だった
目標は「師」と仰ぐ梶山静六（元自民党幹事長）である。
菅は75年に小此木彦三郎（後に通産相）の秘書となった。それが政治の世界のスタートだった。小此木は中曽根派、梶山は田中派と派閥は別だが、初当選が同期で、国対・議運族として呼吸が合った。梶山の長男の梶山弘志（現衆議院国土交通委員長）は、「掛け合い漫才のように、ふざけるのも真面目な話も、いつも一緒だった」と振り返った。
梶山静六は96～97年、橋本龍太郎首相の下で官房長官を務め、98年の自民党総裁選に出馬したが、小渕恵三（元首相）に敗れた。菅は「梶山の教え」をいまも忘れない。
「自分の思いをきちんと持たなければと教わった。派閥は駄目、と。官僚の使い方とマスコミとの対応も。『官僚は自分たちの考えがあり、政治家に説明するとき、必ずそれを入れてくる。おまえなんかすぐに騙される。それを見抜く力を持たなければ』ときつく言われた。マスコミは『取材するときに最初から一つの方向を決めてくるから気をつけろ』と言っていた」
梶山は成長型社会の終焉という変化に着目し、「右肩上がりだった俺たちの時代と違って、これからはどんどん悪くなる。説明責任を果たせる政治家でなければ」と強く諭したという。