幕末の大老・井伊直弼などを輩出し現在まで続く井伊家
また、三代・直澄、四代・直該、六代・直恒、十代・直禔には正室がいない。これは直政が嫡男・直勝を廃嫡した反省から嫡出にこだわらず、優秀な男子を跡継ぎにするために正室を置かなかったと、まことしやかな伝説が伝えられている。
家紋は「橘」、旗紋に「井桁」を使用する。「徳川十六将図」では衣服に家紋を付けていることが多いが、井伊直政は橘紋を付けられている。
永禄3（1560）年、桶狭間の合戦で今川義元が討ち死にすると、徳川家康が織田信長と組んで離反。家康に呼応して東三河の国衆が一斉に今川家から離反する「三州錯乱」が起き、その動きが遠江にも波及する「遠州忩劇」が起きた。
永禄5（1562）年、井伊家の当主、直政の父・井伊肥後守直親（1536～62）は家康に内通した疑いにより殺害されてしまう。直親内通の疑念は晴らされるものの、今川家はことあるごとに井伊家に疑念を抱き、井伊家はそれを払拭するため、直親の遺児・虎松（後の井伊直政）を出家させる。一方、虎松の母は、今川家臣で遠江の国衆・松下源太郎清景（松下之綱の従兄弟）に再縁して、虎松を清景の養子とした。
天正3（1575）年2月、浜松で鷹狩りをしていた家康は、15歳の虎松を見かけて召し抱えた。そして、虎松が名門・井伊家の遺児であることを知り、井伊万千代と改名させ、旧領を復して井伊谷を治めさせた。
猛将のイメージがある直政だが意外に合戦をしていない
井伊直政は譜代筆頭の猛将としてその名を知られているが、実際はそんなに合戦の数が多いわけではない。
『寛政重修諸家譜』等から「徳川四天王」が合戦に参陣した件数を数えてみると、本多忠勝が34件、榊原康政が24件、酒井忠次が20件である。これに対し、井伊直政はわずか9件しかない。特に遠江で徳川・武田軍が熾烈な合戦を繰り広げていた頃、直政は合戦で高名を上げたという記載がなく、実際のところ、ほとんど参陣していなかった可能性が高い。
井伊直政の初陣は、天正4（1576）年2月7日、16歳で遠江芝原にて家康が武田勝頼軍と遭遇した時に敵を討ち取ったことだといわれている。状況の説明でわかる通り、これは合戦ではなく、護衛に近い。従って異説があり、天正6（1578）年3月、18歳の時、駿河田中城（静岡県藤枝市）攻めの参陣を初陣とする説もある。翌天正7年に天龍河原の陣に参陣したという説もあるが、いずれも不確定な情報らしい。
