歌人となるが、実家が経済破綻して芸者になる

しかし、1852（嘉永4）年頃、貸金業を営んでいた実家があわただしくなる。

天保の改革で旗本たちの借金が一部棒引きになった影響で凋落し始め、さらに火事に見舞われ、ヤケになった兄と父が道楽にふけった結果、とうとう没落。この1、2年前にみさは内弟子となって文雄の寝食を用意し、次の間では弟子に講義をしていた。そのせいか妾説もあったほどだったが、いよいよとなると実家に戻って家産を整理し、両親を隠居させた。

そして一家の生活のために突如、芸者として立つことになった。一説にはみさが井上門下から独立しようとしたが、深川の幇間（男性のたいこ持ち）清元駒太夫と関係を持ったことが同門の怒りに触れて破門になったというが、これも真偽はわからない。美貌で才気燥発、負けん気の強いみさは、本人の演出か周りの嫉妬か常に諸説つきまとうのが面白い。