さて、この結果は何を意味するのでしょうか。広告の配信では広告経由の売上は増えても、その分だけ他の経路からの売上が減っており、トータルで見た売上は変わらなかったのです。
企業にとってより重要なのは全体の売上ですから、この広告には売上増大の効果はなかった、無駄であったと結論付けることができそうです。もしA／Bテストを実施していなければ、この巨額の無駄は「成功している広告投資」として報告され続けていたでしょう。
「もともと買う人」を
広告効果と取り違えていた
「ランダム化」という観点から、改めてeBayの検索広告実験を振り返ってみましょう。なぜeBayの当初の分析は間違っていたのでしょうか。
eBayの当初の分析は、検索広告経由でクリックしたユーザーのその後の購買金額を見ていました。データを見ると、検索広告をクリックした人は圧倒的に購買金額が高い。だから広告は効いている。そういう結論でした。
しかし、ここには落とし穴があります。セレクションです。検索広告をクリックする人とそれ以外のユーザーを購買意欲の観点で比較すると、大きな違いがあると考えられます。
・検索広告をクリックするユーザー：「どこかしらで靴を買う」と決めているから、検索している人たち。もともと購買意欲が高い。
・その他のユーザー：なんとなくサイトを訪れた人も含まれている。平均的な購買意欲は低い。
つまり、「広告をクリックした人の売上が高い」のは広告の効果ではなく、「もともと買う気満々の人が、検索したときに広告を最初に見せられ、それをクリックしていただけ」だったのです。
広告が購買を生み出したのか、購買するつもりの人が広告を踏んだだけなのか、区別がつきません。
この問題を解決したのが、A／Bテストによるランダム化でした。
地域をランダムに「広告オン」と「広告オフ」に分ければ、両グループには「購買意欲の高いユーザー」が統計的に均等に含まれます。そのうえで比較した結果、売上に差はありませんでした。
理由はシンプルです。「靴を買おう」と決めている人は、広告として表示される「ebay.com」のリンクをクリックし、広告が表示されなければ通常の検索結果に存在する「ebay.com」をクリックします。いずれにせよ、彼らはeBayにたどり着いて購入するのです。
まとめると、次のようになります。
『原因と結果を武器にする思考』（安井翔太、伊藤寛武、金子雄祐、日経BP 日本経済新聞出版）
・コントロール群（広告オン）の高意欲ユーザー：検索画面の一番上に出た「広告」をクリックして購入。
・トリートメント群（広告オフ）の高意欲ユーザー：広告は出なかったが、すぐ下にある「通常の検索結果」をクリックして購入。
広告は売上を生み出していたのではなく、どのみち発生する売上の入り口になっていただけだったのです（注2）。
従来の分析では広告経由の売上ばかりを見ていたため、「広告がなければこの売上は消える」と錯覚していました。ランダム化によって作り出されたコントロール群によって「もし広告を出さなかったら？」という反実仮想を正しくシミュレートした結果、「広告がなくても、彼らは別の道を通って買ってくれる」ということがわかったのです。
eBayの事例は、「誰と誰を比較するか」がいかに重要かを教えてくれる好例です。
注2 実はここでの紹介は、説明のためにかなり単純化しています。ユーザーの反応はeBayへのロイヤリティによって異なることが論文では報告されています。ただし、売上という観点でeBayの広告の効果は乏しかったという結論には変わりはないようです。
