毎日新聞の算出した内閣支持率が論外
こんにちは。社会調査経験のある火力不足です。
毎日新聞から内閣支持率が発表されたものの、得られるものが皆無すぎて、苦笑いしてしまったので、本日はこれを記事にしようと思います。
記事内に調査方法がわかるリンクがついていると思っていた時期が私にもありました。
目次
・有効回答率がわからない
・そもそも何人に尋ねたのかわからない
・誰に尋ね、どんな人が答えたのかわからない
・質問の仕方がわからない
・回答標本の回答方法がわからない
・まとめ
・有効回答率がわからない
平たく言えば、何人に電話をかけ、そのうち何人から承諾されたかがわからないということです。例えば、1000人に電話をかけて、300人から承諾され正当な回答をもらえば、有効回答率は30%です。300人の中に、不適切な回答があり除外した場合は有効回答率はさらに下がります。私が2年前調査研究で教わった際には、60~65%が妥協ライン、70%が納得ラインとのことでした。有効回答率が低すぎると、回答者が偶然偏り、誤った結果が出力された可能性が生じます。低すぎると調査として落第なので、まともな調査なら書いてあります。
・そもそも何人に尋ねたのかわからない
有効回答率とも関連しますが、ある程度の人(だいたい1000人くらい)に尋ねないと個人の回答が強く影響してしまい、偏りを発生させてしまいます。一応毎日は目標としては1000人に設定しているらしいですが、まぁ正直実際どうかはわかりません。まともな調査なら）以下略。
・誰に尋ね、どんな人が答えたのかわからない
おそらくランダムに回答者を選び、18歳もしくは20歳以上の老若男女を対象にしていると思いますが、結局どういう性別で何歳くらいの方が答えたのかわかりません。単純にランダムに尋ねれば、高齢世代の方々の比率が少し高くなるはずですが、そのままの数字で反映したのか、世代ごとの人数を合わせたのか、世代ごとの人数を合わせる補正をかけたのかも分かりません。世代によって大きく考えは異なるので、20代、30代・・・といった形で区切ってあればまだ調査として有益そうなんですがねぇ・・・。ここもまともな調査なら）以下略。
質問の仕方がわからない
次の問題として、回答に協力した一般人に、「どういう質問で内閣支持率について尋ねたのかがわからない」点が挙げられます。まともな調査であれば、電話をかけ、「現在の内閣を支持しますか、はいかいいえでの回答とその理由を簡潔にお願いします」あたりをシンプルに尋ねて、比較的純度の高い回答を得ていると考えます。多分このような単純な形を採用していると信じたいですが、簡単に誘導することもできますし、数字見る限り誘導[1]してそうなんですよね・・・。まともな調査なら）以下略。
・回答標本の回答方法がわからない
要は、電話をかけられた一般人がどう回答するようにお願いされたかがわからないってことです。例えば、白黒はっきりさせるなら「はい・いいえ(・わからない)」が最も妥当な形ですが、5段階でどの程度賛成しているかを尋ねる5件法というやり方もあり得ます。また、もっと露骨に誘導をかけるやり方もあり、悪質な調査であった可能性も否定できません。つまり、やり方によって回答も変化しうるので、まともな調査なら）以下略。
まとめ
わからない点が多すぎて、支持率に関してはほとんど何もわかっていません。金をかけたゴミのような調査かもしれませんし、有益なものかもしれません。ただ、重要な情報を描いていない調査は大抵ゴミなので、多分前者です。信頼できる媒体の調査を信用するようにしましょう。
補足: 9年前の記事ですが、信用できる調査かどうかをより詳細に判断するために指標を様々な例を用いて記述してあるので、ご参考までにどうぞ。
http://web-tan.forum.impressrd.jp/e/2008/05/16/3080 サンプル数や回答数よりも回収率が大事な理由
[1] 本題に入る前に標本と世間話などをして標本の不満を聞き、共感することで現状に納得していないという精神状態を作り、現在に否定的な回答を引き出す誘導がありうる。また、回答手段に「賛成・納得できない・反対」など、納得できないに集中しやすい回答形態を作り、納得できないを消極的反対として反対に含めるような方法もある。
