AIスクレイピングとの闘い、ウェブの未来変えるかPhoto: Shawn Michael Jones for WSJ

 コンテンツを提供するメディアや出版社などのパブリッシャーは、新たな人工知能(AI)ツール向けにコンテンツを収集するテクノロジー企業から自社のウェブサイトを守る取り組みを強化している。

 メディア企業は、コンテンツ使用に対する補償を求めて提訴したり、ライセンス契約を交わしたり、あるいはその両方を行ってきた。多くの企業は、AIボットがウェブサイトなどから情報を大量抽出する行為(スクレイピング)を止めるよう丁重に要請した。現在は、データを収集するクローラーを完全にサイトからブロックする取り組みを進めている。

 米誌アトランティックのニコラス・トンプソン最高経営責任者(CEO)は「サイトを閲覧するのはボットではなく人間であってほしい。特にこちらに何の価値ももたらさないボットは望ましくない」と述べた。

 スクレイピングの歴史はウェブそのものとほぼ同じくらい古い。しかし、米グーグルがスタートアップだった1990年代以降、ウェブは大きく変化した。当時はグーグルに自由にクロールさせることにメリットがあった。スクレイピングされたサイトは検索結果に表示され、トラフィックと広告収入を生み出していたからだ。

 米オープンAIの「チャットGPT」からグーグルの「ジェミニ」まで、新たなAI搭載チャットボットは、オープンウェブから収集した大量のデータを使って簡潔な回答を提供するため、多くのユーザーはウェブサイトを訪問する必要がなくなった。検索トラフィックは多くのパブリッシャーで大幅に減少している。グーグルが「AIモード」の導入を開始し、ユーザーの検索クエリに対して表示されるリンクが従来の検索よりも格段に少なくなったため、パブリッシャー各社はさらなる打撃に備えている。