ネットリサーチの信憑性を比較するためには何に注目すべきか | 市場調査・ネットリサーチ「リサーチブティック」

ネットリサーチとは？

ネットリサーチは、インターネットを介して一般の生活者（消費者）にアンケート調査をすることができるサービスです。インターネットリサーチ・インターネット調査・ネット調査・web調査など様々な呼び名がありますが、これらは全て同じものです。

ネットリサーチの信憑性について

ネットリサーチを実施する場合、その信憑性については慎重に評価する必要があります。特に経営戦略や事業計画、相手の信用を得なければならない場面で利用する場合にはできるだけ信憑性が高く、精度の高い調査を実施しなければなりません。
以下では信憑性を決める品質に関すること、信憑性の低さはどのように見分けられるのか、これらを解説していきます。

ネットリサーチの信憑性を決める品質

ネットリサーチの信憑性を決める品質に関しては回答者側の問題と、集計における問題とに分けることができます。

回答者の品質

回答者の品質についてはその母体が何なのか、また実際問題としては回答に対する対価なども関係してきます。そして調査を実施する者は回答者の絞り込みをすることも重要になってきます。

回答者の母体自体

回答者の母体が何なのか、これは回答の品質を左右する一つの要因となります。例えばあるコミュニティ内でアンケートを取った場合には、そのサンプル数が多かったとしてもコミュニティ自体にバイアスがかかっていることがあるため、世間とのずれが生じる可能性があるのです。
標本抽出の仕方は非常に重要で、過去にはそのことが原因で選挙結果がアンケートによる結果と全く異なるものになった事例があります。ある会社が立てた予測によるものですが、過去には選挙の予測を的確に当てていたなどの実績も持っていました。しかしサンプルが自社の雑誌の購読者等をまとめたリストが母体となっていたのです。過去には予測を当てていましたが、この時代では世界恐慌が起こっていたため雑誌の購読者が比較的高所得者に限られていました。そのため所得の高い者から支持を受けやすい政党にバイアスがかかり、社会全体との傾向からかけ離れたアンケート結果が出てしまったのです。
雑誌の購読者に対しアンケートを行うことが必ずしも悪いわけではありません。しかし購読者がどのような層であるのかよく理解した上で調査を実施しなければこの例のように偏りが生じてしまうことがあるのです。そして注意が必要なのは、その母体がアンケート内容に直接的な関連性を持っているとも限らないということです。例えば雑誌の購読者にかかるバイアスについても、その雑誌が政治に関する内容であるかどうかは関係なく起こり得ます。雑誌を購入し続けられる所得者という間接的なところが問題となることもあるからです。
そのためどこから標本を抽出するのかは慎重に判断しなければなりません。

回答者への対価

ごく簡単なアンケートであれば無料で実施していることも多いかと思います。しかしその場合には正確な情報を得られない可能性があることも知っておかなければなりません。これはどこまで深い内容を聞きたいのかにもよります。ただ、自社の今後の方針を決める材料として利用するため、マーケティングとしてのリサーチであれば費用が発生することも覚悟しなければなりません。回答者のモチベーションが回答内容に影響するからです。Yes、Noを回答してもらうだけのシンプルな質問が少数あるだけのアンケートではいいかもしれませんが、文章で回答する形式だと回答者側に負担がかかります。このとき対価がない、もしくは対価が少なければしっかりとした回答が得られない可能性が高くなってしまいます。シンプルな質問の場合でも質問数が多くなってくると回答の精度が落ちてしまう可能性が出てきます。
質問の内容や質問数、そしてそのリサーチにはどのような目的があるのか、これらを考慮した対価の設定が必要になってきます。

絞り込みやスクリーニングに合わない回答者

スクリーニング調査とは、本調査とは別に行われる事前調査のことです。回答者を絞り込むために行われます。例えば男性だけを対象に調査を行いたいという場面もあるでしょう。そのときに全てのモニターを対象としてしまうと本来欲しい結果とは異なるものが出てきてしまいます。実際にはもう少し複雑に回答者の属性を特定のものに絞り込むために行われます。より精度の高いリサーチ、本格的なリサーチを実施したい場合にはスクリーニングによる絞り込みができていなければなりません。絞り込みが十分でなければ品質が高いとは言えず、リサーチの信憑性は低いものとなってしまうでしょう。

収集・集計の品質

次は回答者側ではなく、データの収集方法、集計の手法によって左右される品質に関して説明していきます。ここでもやはり調査対象の偏りには注意が必要で、さらに重複回答に対する適切な処置も必要となってきます。

調査対象の偏り

上で紹介した例に類似しますが、ネットリサーチではインターネット上で調査が行われるという前提を忘れてはいけません。つまりネットリサーチで回収できるデータは、主にインターネットの利用頻度の高いユーザーに偏ってしまうということです。あるリサーチ会社に登録しているモニターの中から属性で絞り込みをすればある程度正確で信憑性の高いデータが得られるようにはなりますが、必ずしも世論と一致するとは限らないのです。どうしても一定のバイアスがかかってしまいます。
そのためネットリサーチに向いていない調査内容も少なからず存在します。近年では多くの人がインターネットを利用するようになり、比較的高齢の人の間でも親しまれるようになってはいます。しかしながらそれでも70代以上の世代では利用率が落ちてしまうため、年齢構成を考慮した調査方法を検討する必要が出てくるでしょう。

重複回答、不正データの排除

バイアスへの配慮同様、リサーチの信憑性を高めるためには重複回答および不正データの排除が欠かせません。リサーチ会社に調査を依頼する場合にはこの点の対策がしっかりできているところを選ぶようにしなければなりません。
特定の者による意図的なバイアスがデータに反映されてしまうからです。サンプル数が非常に多ければわずかな不正データが含まれていても結論に影響しないこともありますが、やはりデータの信憑性という観点から言えばできるだけこうした回答は除くべきです。
リサーチ会社によってはモニター登録情報を厳重にチェックする機能がシステムに備えられていることもあります。そうすることでなりすまし登録者や不正登録者を削除することが可能となります。

信憑性が低いと思われるネットリサーチ結果を見分けるには

信憑性の低さを見分ける方法がいくつかあります。統計学に精通していない者であっても簡単に判断がつくポイントを紹介していきます。

回答数の少ないネットリサーチ結果

ネットリサーチでは回答数の多さは非常に重要なポイントです。なぜならある限られた者の意見から全体意見を見出すことが調査の目的であり、できるだけ理想の分母数に近づいた方が、調査結果が正解に近づくからです。
ある商品に関する感想を消費者から集めることで今後の改善に繋げようとする場面を例に考えてみましょう。完全に正確なデータを手に入れるには商品を購入した全ての商品者にアンケート等を実施しなければなりません。しかし現実的には不可能です。そこで消費者の一部を対象に調査し、全体の傾向を知ろうとするのが調査の趣旨となります。対象者が多いと精度が上がるのも当然と言えます。
ただ、費用の問題もあるためある程度の精度があれば良いものとし、サンプル数を決めるのが通常です。調査したい内容によっても変わりますが、一般には最低でも100サンプルが必要と言われています。50サンプルや400サンプルという意見もあります。
100サンプルと言われていることの根拠は標本誤差が10%以下に留められやすいことにあります。つまり100サンプルのうち80%が「Yes」と答えれば、社会全体の傾向としても80%前後の「Yes」になると評価できるということです。ただし回答者の絞り込みなどは調査内容に合わせて適切に行われていなければなりませんし、不正回答なども排除しておかなければ意味はありません。
100サンプルより少なくてもいいという場合の多くは、大雑把な傾向さえ見えれば良いという場面でしょう。サンプル数が多くなってくると費用面の負担も大きくなってくるため、だいたいの規模感を測りたいといった目的であれば少ないサンプル数にしてみてもいいかもしれません。また精度よりもスピードを重視している場合にもサンプル数を少なくすることが考えられます。
100以上、数百から数千のサンプルが必要になるのは標本誤差の指定がある場合などでしょう。例えば10%以内の誤差であれば十分とされる調査と、5%以内に収めないと意味がないという調査もあります。そのためにはサンプル数を多くして誤差を一定基準以下に収める必要が出てきます。そうすることで統計的にも有意な結果が得られ、経営戦略や事業計画にも使える有益な情報となるでしょう。

Twitter等で実施したネットリサーチ結果

ネットリサーチではSNSを利用することで迅速かつ幅広いユーザーからの意見を集めることができます。ただしTwitterなどのSNSでは、調査を実施するアカウントのフォロワーが基本的に回答することになるため、回答者にバイアスがかかった状態で調査が行われてしまうこととなります。そのためフォロワーの傾向に左右されない調査内容でなければ実施することの効果は薄れてしまいます。

有意差のないネットリサーチ結果

ネットリサーチを実施したとき、その結果が偶然によって得られたものである可能性にも配慮しなければなりません。そこで有意差検定を行います。これは調査結果が偶然でないことを検証するための検定です。何度同じ調査をしても同じ結果が得られるのかどうか、ということを検証するのです。ここで「有意に差がない」という結果が出てしまうと、偶然の可能性が高いということになってしまいます。

ネットリサーチを実施した情報元が書かれていない結果

調査結果に情報元が載っていない場合、それだけで信用を得られにくくなります。誰が調査をしたのか開示しているほうが人は信じやすくなりますし、あえて情報元が書かれていない場合には信憑性に問題がある可能性も高くなります。

ネットリサーチを実施した団体の意向に沿う結果が出ている場合

ある団体が、その活動内容に関連した内容の調査を実施している場合には信憑性に欠ける可能性が高くなってしまいます。例えば禁煙推進団体が喫煙・禁煙に関する調査をしても、禁煙すべきというバイアスがかかった状態で調査が行われることになってしまいます。

ネットリサーチの信憑性は高いか？

結論から言うと、ネットリサーチによって得られる結果は信憑性の低いものであることも珍しくありません。それはインターネットを利用した調査である以上、回答者に偏りが生じてしまうことを避けられないからです。
しかしネットリサーチに意味がないということではありません。リサーチ会社では、これらのバイアスを考慮した上でのデータ解析を行うことが通常だからです。健全なリサーチ会社なら事前にスクリーニング等も行い、ネットリサーチであっても信憑性の高い結果が得られるでしょう。