Cloudflare оголосила про запуск експериментального маркетплейсу Pay per Crawl, який дозволяє власникам сайтів контролювати доступ ШІ-ботів до свого контенту та отримувати оплату за кожен «crawl». Учасники приватної бета-версії можуть самостійно визначати, чи дозволити окремим ШІ-компаніям сканувати їхній сайт за фіксовану мікроплату, безкоштовно або повністю заблокувати такий доступ. Інструменти Cloudflare дають змогу бачити, для чого саме використовуються ці сканування — наприклад, для навчання моделей або для відповідей у ШІ-пошуку.
Щоб брати участь у маркетплейсі, і власники сайтів, і ШІ-компанії мають мати акаунти Cloudflare. Вони можуть встановлювати власні ставки на «crawl», а Cloudflare виступає посередником у розрахунках і розподіляє оплату між сторонами. У компанії підкреслюють, що наразі Pay per Crawl не використовує криптовалюти чи стейблкоїни, але розглядає можливість впровадження таких засобів оплати у майбутньому.
З червня Cloudflare автоматично блокує всі ШІ-боти на нових сайтах, доданих в сервіс. Адміністратори можуть вручну надати доступ окремим ботам, якщо вважають це за потрібне. До ініціативи вже приєдналися великі видавці, зокрема TIME, The Atlantic, ADWEEK, Fortune, Conde Nast і The Associated Press, які підтримують підхід із дозволом на сканування замість автоматичного збору даних.
За даними Cloudflare, співвідношення сканувань до переходів на сайт від різних ботів значно відрізняється. Наприклад, у червні бот Google здійснював 14 сканувань на кожен перехід, OpenAI — 1700, а Anthropic — 73000. Водночас нові «агентні» ШІ-сервіси можуть самостійно відвідувати сайти, збирати інформацію і надавати її користувачам без переходу на першоджерело, що впливає на традиційні моделі монетизації контенту.
