Четири AI гиганта подкрепят обща защита за сайтовете

OpenAI, Google, Microsoft и Anthropic обявиха на 30 октомври 2026 г., че подкрепят общ механизъм, чрез който собствениците на сайтове ще могат да забраняват използването на съдържанието им за обучение на изкуствен интелект само с една настройка.

Новото предложение предвижда използването на специален сигнал във файла robots.txt, съобщава The Verge.

Целта е да се улесни контролът върху автоматизираните програми, които събират информация от интернет за разработването и усъвършенстването на генеративни AI модели.

В момента издателите и собствениците на сайтове трябва да задават отделни правила за различните компании. Това означава, че един новинарски сайт например трябва да посочи поотделно кои ботове на OpenAI, Google или Anthropic могат да използват публикуваните материали.

Новият подход ще позволи една обща настройка да бъде разпознавана от всички компании, които са приели механизма.

Предложението използва съществуващия файл robots.txt, чрез който сайтовете традиционно дават указания на автоматизираните системи за обхождане и индексиране на страниците.

В него ще може да се добавя специалният идентификатор __usage_ai-training, който указва дали съдържанието може да се използва за обучение на генеративни модели.

За разлика от обичайните правила за обхождане, този сигнал се отнася конкретно до начина, по който информацията може да бъде използвана, а не непременно до самото посещаване на страниците от автоматизирани системи.

Механизмът е описан в проект на технически документ, внесен в рамките на Internet Engineering Task Force (IETF) – международната организация, която разработва технически стандарти за интернет.

Автор на предложението е Кевин Кели от Anthropic. Документът все още е проект и не представлява окончателно приет интернет стандарт.

Четирите технологични компании са обявили различни срокове за въвеждането му. Anthropic вече е започнала да поддържа новия сигнал, докато OpenAI възнамерява да го внедри през следващите месеци.

Google и Microsoft планират да добавят поддръжка през 2027 г.

В официалното си съобщение Google уточнява, че общият сигнал ще работи заедно със съществуващия механизъм Google-Extended, който позволява на сайтовете да ограничават определени начини на използване на съдържанието им от системите на компанията.

Това означава, че издателите ще могат да прилагат обща забрана за обучение на AI модели, но при необходимост да запазят отделни настройки за конкретни доставчици.

Microsoft предвижда и по-подробен контрол. Собствениците на сайтове ще могат да разграничават използването на съдържанието за обучение от използването му като източник при генериране на отговори от изкуствен интелект.

Според компанията ограничаването на тези дейности няма непременно да изключва страниците от традиционните резултати на търсачката Bing.

Това разграничение е особено важно за новинарските издатели. Те могат да искат материалите им да продължат да бъдат откривани чрез интернет търсачките, без непременно да разрешават използването им за обучение на езикови модели.

Новият механизъм се появява на фона на засилващите се спорове между технологичните компании и собствениците на онлайн съдържание относно авторските права, лицензирането и използването на журналистически материали от AI системи.

Вече съществуват и други инициативи. Стандартът Really Simple Licensing (RSL) предлага възможности за определяне на лицензионни условия и заплащане при използване на съдържание от автоматизирани системи.

Компанията Cloudflare също въведе инструменти, чрез които собствениците на сайтове могат да ограничават достъпа на AI ботове.

Общият сигнал в robots.txt обаче няма да представлява абсолютна техническа защита срещу копиране на съдържание. Той ще изразява предпочитанията на издателя, които участващите компании се ангажират да спазват. Автоматизирани системи, които не поддържат механизма или пренебрегват правилата, няма да бъдат спрени единствено чрез тази настройка.

Затова новото предложение не заменя останалите средства за защита, но може значително да улесни управлението на правата върху онлайн публикациите.

За новинарските сайтове промяната означава възможност за по-ясен и централизирано зададен контрол върху използването на техните статии за обучение на изкуствен интелект, без да се налага да поддържат постоянно разширяващ се списък с отделни правила за всяка технологична компания.