「私のことを人として扱ってくれない」
紫式部はなぜ、そんなに心を閉ざしてしまったのか。研究者の言葉を少し引用すると、山本淳子氏はこう書く。「紫式部は生まれてこのかた、中・下級役人や国司階級の世界から出た経験がない。高貴な人々を目の前にして、振る舞いにも受け答えにも戸惑うばかりだったろう。一方、同僚たちはそんな式部を遠巻きにして見るだけだった。初出仕の数日間、彼女に親しく接してくれる女房は誰一人いなかった」（『源氏物語の時代』朝日選書）。
伊井春樹氏の言葉で補っておく。「紫式部を迎える同僚の女房たちは、（中略）『あの方が、評判の物語を書いた方』『とても学才があるらしい』などと噂をし合い、用心して近づいて話しかけようともしない。紫式部が声をかけても、新参ということもあり、口をきいたこともないだけに、女房たちはとまどっている。不用意な発言をすると軽蔑されてしまうのではないか、などといささか恐れてもいる」（『紫式部の実像』朝日選書）。
こうして、出仕できないまま3月になってしまい、その間、宮中で自分がどう噂されているのかも耳に入る。『紫式部日記』にも、「かばかりも思ひ屈じぬべき身を『いといたうも上衆めくかな』と人のいひけるを聞きて（こんなにも思い悩み、気落ちしている私のことを『上品ぶって偉そうにしていること』なんて人が噂していると聞いて」と書かれており、それに続けて、歌がこう詠まれている。
わりなしや 人こそ人と いはざらめ みづから身をや 思ひすつべき（ひどいことに、人は私のことを人として扱ってくれませんが、だからといって、自分で自分を見捨てることなどできましょうか）
家柄と血筋にこだわって選ばれた女房たち
結局、5月ごろになって、一人の女房が次のような助け舟ともいうべき歌を送ってきたのを受け、ようやく職場に戻ることができた。
忍びつる ねぞ現るる あやめ草 言はぬに朽ちて やみぬべければ（水の底に隠れていたあやめの根が現れるように、私はあなたに隠していた気持ちを表します。そうしないと、なにも言わないままに、あなたは朽ちて、ダメになってしまいかねないから）
紫式部がここまで実家に引きこもらざるをえなくなった原因には、中宮彰子の後宮ならではの雰囲気もあったものと思われる。
道長は彰子の後宮を整える際、そこを華やかな場にするためにかなりの力を入れた。女房を40人、童女と下仕えを6人ずつ、いずれも選りすぐり、とりわけ女房は、美貌はもとより家柄と血筋に徹底的にこだわった。それはいうまでもなく、まだ存命だった皇后定子の後宮に負けないようにするためだった。
だが、長保2年（1001）12月に定子が没したのちも、彼女の後宮の女房だった清少納言が、定子在りし日の華やかな後宮について、ネガティブ情報を除いて書いた『枕草子』の力を得て、定子の後宮は魅力的な存在として、宮中の人々の記憶を強く刺激し続けた。