正室が「側室の子」の後見人に

不仲説の根拠とされる淀殿の素行問題とは、慶長4年9月に浮上した淀殿と大野治長（淀殿の乳母である大蔵卿局の息子）との密通疑惑である。毛利氏家臣の内藤周竹の書状によると、この疑惑が発覚し、家康と毛利輝元が大坂に留まることを決定したとされる（『萩藩閥閲録』）。

ただし家康が大坂に留まった真の理由は、前田利長（利家の嫡男）・浅野長政・大野治長らによる家康暗殺計画の噂が広まったことにある。家康暗殺の噂に尾ひれがつく形で、密通疑惑も持ち上がったのだろう。渡辺世祐や桑田忠親は、淀殿の醜聞が北政所の大坂退去の原因であるとし、両者の不和を強調する。

だが、密通の真偽は不明である。朝鮮人捕虜の日本見聞録である『看羊録』には大野治長が関東に流され途中で殺されたとあるが、実際には治長は下総国結城に追放された後、関ヶ原合戦後に秀頼の側近に復帰している。また、大蔵卿局も追放されたと噂されたが、事実は京都近郊に留まり、影響力を保持していた。