OpenAI, Google, Microsoft и Anthropic поддерживают IETF «policy token» в robots.txt для отказа от скрейпинга ИИ
OpenAI, Google, Microsoft и Anthropic заявили, что примут предложенный IETF «policy token», размещаемый в robots.txt сайта, который позволяет издателям задавать предпочтения по обучению ИИ для нескольких краулеров одновременно. Anthropic уже внедрил сигнал; Google и Microsoft планируют поддержку в следующем году, OpenAI — в ближайшие месяцы; Microsoft предложит более тонкие настройки, а сайты по-прежнему будут появляться в результатах поиска Bing.