人気ぶりがあだとなり、嫉妬を集めてしまった
一つには、火付盗賊改という役が、あまりに平蔵にはまりすぎ、余人をもって代え難いという印象を与えたことがあげられるだろう。平蔵以上の人材を、他の先手頭から選ぶことは難しかったという事情は確かにあった。
しかし、2、3年ならともかく、足かけ5年も務めれば、当然、遠国奉行への栄転があってしかるべきだった。そうならなかったのは、平蔵が大盗賊を一人ならず捕らえるという華々しい活躍をし、あまりに江戸の庶民の人気を集めたことが理由ではなかっただろうか。
そのため、平蔵の活躍も、犯罪者まがいの者を手下として使ういかがわしいやり口のように言われ、人足寄場を成功させるため銭相場に手を出したことも、「長谷川は山師だ」というような悪い噂のもとになった。
職務に忠実なあまりについやりすぎたことが、平蔵の業績に嫉妬する者にとって昇進を抑える格好の口実になったのである。
こうして平蔵は、現職のまま、寛政7(1795)年5月10日、享年51にして病没した。火付盗賊改の在任期間は、本役だけでも7年の長きに及ぶ。