「広告経由の購入が多い→広告効果あり」は本当？年70億円を投じるeBayが「広告を止めてみた」結果

写真はイメージです　Photo:PIXTA

広告経由の購入が多ければ、その広告は成果を上げている、そう考えるのは自然だ。だが、そこで見えているのは「広告が生んだ売上」なのか、それとも「もともと買う人が通った入口」なのか。eBayが検索広告を止めて初めてわかった事実を紹介する。※本稿は、Data Science Center副所長の安井翔太、サイバーエージェントのデータサイエンティストの伊藤寛武、金子雄祐『原因と結果を武器にする思考』（日経BP 日本経済新聞出版）の一部を抜粋・編集したものです。

年間70億円を投じた検索広告は
本当に売上を生んだのか

　eBayは世界最大級のオンラインマーケットプレイスです。かつて同社は、年間約5000万ドル（約70億円）もの巨額を検索広告に投じていました（＊1）。

　検索広告とは、グーグルで「eBay 靴」と検索すると、検索結果の一番上にeBayの広告が表示される、あの仕組みです。

　eBayではこの検索広告が売上に大きく貢献していると考えられていました。当初、eBayでは次のように考えられていたようです（注1）。

「検索広告経由でサイトを訪れるユーザーは広告出稿にかかった費用以上に購買する」「したがって、検索広告は売上に大きく貢献している」。もっともらしい分析です。しかし、eBayの分析チームはこの分析を鵜呑みにしませんでした。彼らは見せかけの効果と本当の効果を区別できていたのです。

　本当に広告が売上を生み出しているのかを確かめるために、彼らは次のような実験を行いました。

ステップ1　地域ごとに、広告を出稿するかしないかをランダムに決定。
ステップ2　出稿しないと定めた地域で実際に出稿を差し止める。
ステップ3　両条件でのユーザー流入数と売上を比較。

　これはまさにA／Bテストに他なりません。すなわち地域をランダムに分け、広告を出す群と出さない群をつくり、出さない群で実際に広告を止めたうえで、両者の売上を比較したのです。

広告経由の売上が激減しても
全体の売上は変わらなかった

　検証の結果は図表2-1の通りでした。縦の破線は施策実施時点を表し、それより左は施策実施前、右は施策実施後の期間です。得られた知見は次のように整理できます。

●広告をオフにした地域では広告経由の売上は減少した。

　図表2-1の上の図（a）から、広告をオフにした地域（トリートメント群）では施策開始後、広告をオンのままにした地域（コントロール群）と比較して、広告経由での売上が激減していることを見てとることができます。

●広告をオフにした地域でも、全体の売上は変わらなかった。

　図表2-1の下の図（b）では、広告をオフにした地域とオンのままの地域での売上の差が示されています。施策開始後（破線部分の右側）でも、その差は変わりません。

同書より転載　拡大画像表示

注1 ここでは、論文での議論の展開を多少わかりやすくデフォルメした紹介をしています。eBayの中でどのような議論があったかを我々は知ることができる立場にありませんが、Frederik & Martijn （2019）の記事を参考にしながら再構成をしています（＊2）。