Новини

Cloudflare запускає модель Pay Per Crawl

Компанія Cloudflare оголосила про нову політику. Відтепер усі нові сайти, підключені до платформи, автоматично блокуватимуть ШІ-ботів.

Зокрема тих, які збирають контент для навчання моделей, генерації відповідей чи пошукових алгоритмів. Разом із цим стартувала ініціатива Pay Per Crawl, яка дозволяє авторам сайтів отримувати компенсацію за використання їхнього контенту.

Нова функція базується на рідко використовуваному HTTP-коді 402 Payment Required. Якщо ШІ-краулер не вказує готовність оплатити доступ, сервер повертає відповідь із вартістю. У разі підтвердження — сторінка відкривається.

Що змінилося?

З появою генеративного ШІ дедалі більше компаній автоматично сканують вебсторінки, щоб навчити свої моделі. Часто — без згоди авторів і без компенсації. Cloudflare вирішила змінити правила гри.

Головні нововведення:

Блокування ШІ-сканерів. Усі нові сайти, які підключаються до Cloudflare, одразу отримують блокування ботів.
Гнучке керування. Власники сайтів зможуть самостійно визначати, які AI-боти можуть отримувати доступ до контенту — для навчання, генерації відповідей чи пошуку.
Ініціатива Pay Per Crawl. Компанії зможуть отримувати дозвіл на доступ до контенту лише після узгодження умов і оплати.

Чому це важливо?

Блокування ботів Cloudflare дає авторам більше контролю над власним контентом і можливість заробляти. До того ж це може стати новим стандартом у відносинах між ШІ-компаніями та творцями контенту.

Ось як це працює:

AI-компанії подають запит на доступ.
Власники сайтів встановлюють ціну за кожен обхід (crawl).
Обидві сторони погоджують умови.

З часом ШІ-компанії зможуть також:

переглядати, як часто оновлюється контент;
отримувати контент у зручному для машинного аналізу форматі.

Хто підтримує ініціативу?

До Pay Per Crawl уже долучились великі медіакомпанії, серед яких TIME, Quora, Stack Overflow, BuzzFeed, Webflow та інші. Навіть USA TODAY Network — один із найбільших видавців у США — вважає цю політику критично важливою для захисту авторських прав.

«Якщо інтернет хоче пережити епоху ШІ, потрібно повернути контроль у руки творців», — сказав співзасновник Cloudflare Метью Прінс.

Чому нам це цікаво?

Багато сервісів на базі штучного інтелекту ігнорували правила на кшталт robots.txt або обмежено реагували на спроби блокування. Це ускладнювало захист контенту. Cloudflare не просто надає нові інструменти, а й змушує компанії переосмислити модель монетизації та взаємодії з відкритим вебом.

Якщо ти працюєш з генерацією контенту, створюєш власний блог чи керуєш сайтом — слідкуй за розвитком Pay Per Crawl. А також залишай свою думку у коментарях.