РЕГУЛИРОВАНИЕ · REGULATION · #2849
OpenAI, Google, Microsoft и Anthropic поддерживают IETF «policy token» в robots.txt для отказа от скрейпинга ИИ
OpenAI, Google, Microsoft и Anthropic заявили, что примут предложенный IETF «policy token», размещаемый в robots.txt сайта, который позволяет издателям задавать предпочтения по обучению ИИ для нескольких краулеров одновременно. Anthropic уже внедрил сигнал; Google и Microsoft планируют поддержку в следующем году, OpenAI — в ближайшие месяцы; Microsoft предложит более тонкие настройки, а сайты по-прежнему будут появляться в результатах поиска Bing.
КЛЮЧЕВЫЕ ТЕЗИСЫ
- OpenAI, Google, Microsoft и Anthropic заявили, что примут предложенный IETF «policy token», размещаемый в robots.txt сайта, который позволяет издателям задавать предпочтения по обучению ИИ для нескольких краулеров одновременно.
- Anthropic уже внедрил сигнал; Google и Microsoft планируют поддержку в следующем году, OpenAI — в ближайшие месяцы; Microsoft предложит более тонкие настройки, а сайты по-прежнему будут появляться в результатах поиска Bing.
- Единый токен в robots.txt стандартизирует и упрощает контроль издателей над скрейпингом для ИИ, что может ограничить несанкционированную индексацию и изменить доступ моделей к веб-данным.
ПОЧЕМУ ЭТО ВАЖНО
Единый токен в robots.txt стандартизирует и упрощает контроль издателей над скрейпингом для ИИ, что может ограничить несанкционированную индексацию и изменить доступ моделей к веб-данным.