調査方法の違いで結果は変わる
この原因は調査方法の違いにある。SUUMOは住みたい駅への投票を都道府県→沿線→駅と絞り込んでいく方法だが、いい部屋ネットの場合には、フリーワードで住みたい駅を入力し、さらに「横浜」と入力された場合には横浜駅の周辺駅である「桜木町」「みなとみらい」「関内」といった駅を表示して選択してもらうフリーワードサジェスト方式を採用している。
いい部屋ネットでは2位の横浜がSUUMOでは1位になっているのは、横浜駅への投票だけではなく、イメージとしてかなり広い範囲の「横浜」への投票が含まれているためだろう。
実際、いい部屋ネットの2022年版では投票方式によって住みたい街ランキングの結果が異なることを検証している〔詳細は宗健（2022）「調査方法の違いによる住みたい街ランキングの順位変動」 2022年度統計関連学会連合大会（2022.9.6）を参照〕。
また回答者の居住地分布によってもランキングの結果は当然異なる。例えば全国2万人を対象に調査して全国住みたい街ランキングを作成したとしても、その回答者分布が首都圏に偏っていれば、横浜が1位になるのは当然で、回答者の偏りができるだけ少ないように調査は設計されなければならない。そうしたきちんとした調査設計が行われていない住みたい街ランキングには注意が必要だ。
「住んで良かった街」は調査コストがかかる
「住みたい街ランキング」ではなく、住んでみてよかった街のランキングを知りたいという声は以前からあったが、「いい部屋ネット街の住みここちランキング」以外に、全国を対象とした居住者の評価を基にしたランキングはないようだ。
その理由は単純で、住んでいる人たちの評価を基にランキングを作ろうとすれば、住みたい街ランキングの数倍以上の回答者を確保する必要があり、それだけのコストを調査に投入することが一般的には難しいからだ。
実際、「いい部屋ネット街の住みここちランキング」では、全国の全自治体を対象に各自治体人口の0.1～0.2％を目安に年度ごとに18万人（日本の全人口約1億2452万人の0.145％）もの回答者を確保しているが、そのコストは数千万円になる。
しかも全国を対象に調査を行うには、調査主体にもそれなりの事業的なメリットが求められる。多くの企業では人口の少ない地方の事業シェアが低く、調査対象とすることが難しいが、大東建託は全国約1900の市区町村のうち1500以上の市区町村で賃貸住宅を供給しているため、全国を調査することに事業としての意味がある。
住みここちの評価は、今住んでいる街に対して、「大変満足」「満足」「どちらでもない」「不満」「大変不満」の5段階で回答してもらい、その回答を点数に変換して平均を集計し、50名以上の回答者が得られた自治体（駅は回答者30名以上）についてランキングを作成している。
こうして初めて、「住みたい街」と「住み心地が良い街」の比較ができるようになったが、その結果はもちろん一致しない。