Cloudflare、AIクローラーをデフォルトでブロック、‘Pay Per Crawl’プログラムを開始

インターネットアーキテクチャの大手プロバイダーであるCloudflareは、AIウェブクローラーをデフォルトでブロックすることを発表しました。この変更により、AIクローラーが「許可や報酬なしでコンテンツにアクセスすることを防ぐ」としています。

Cloudflareは、新しいドメイン所有者に対し、AIスクレイパーのアクセスを許可するかどうかを尋ねるようになり、いくつかのパブリッシャーは「Pay Per Crawl」プログラムを実装できるようになります。

この「Pay Per Crawl」プログラムは、パブリッシャーがAIクローラーが自分のコンテンツにアクセスするための料金を設定できるようにするものです。AI企業は、料金を確認し、‘Pay Per Crawl’フィーを支払うか、アクセスを断るかを選択できます。このプログラムは現在、「一部の主要なパブリッシャーやコンテンツクリエイター」にのみ提供されていますが、Cloudflareは「AI企業が適切な方法で質の高いコンテンツを使用できるよう、許可と報酬の下で進めていく」と述べています。