OpenAI, Google, Microsoft и Anthropic поддержали единый стандарт отказа от сбора данных
OpenAI, Google, Microsoft и Anthropic поддержали единый стандарт отказа от сбора данных Крупнейшие разработчики систем искусственного интеллекта — OpenAI, Google, Microsoft и Anthropic — объявили о поддержке нового стандарта, который позволит издателям запрещать использование их контента для обучения ИИ. Стандарт представляет собой общий «политический токен» — специальную метку в файле robots.txt, который уже давно используется для управления доступом поисковых роботов к сайту. Сейчас владельцы сайтов вынуждены отдельно указывать свои предпочтения для каждого ИИ-краулера, что неудобно и трудозатратно. Новый подход позволит задать настройки один раз и применить их ко всем участникам инициативы. Автор предложения — Кевин Келли, технический специалист по стандартам из Anthropic. Инициатива рассматривается в рамках рабочей группы Internet Engineering Task Force (IETF). Если сайт разместит у себя этот токен, OpenAI, Google, Microsoft и Anthropic обязуются ограничить доступ своих краулеров к ресурсу. При этом Microsoft предложит более гибкие настройки: владельцы сайтов смогут раздельно запретить использование контента для обучения моделей и для так называемого «заземления» — процесса, при котором ИИ обращается к проверенным источникам, чтобы снизить вероятность галлюцинаций. Важно, что отказ от обучения или заземления не повлияет на индексацию сайта в поисковике Bing. Решение принято на фоне растущего недовольства издателей тем, что ИИ-компании массово собирают данные с сайтов без разрешения. Ранее уже появлялись альтернативные механизмы, например стандарт Really Simple Licensing (RSL), позволяющий взимать плату с краулеров, а Cloudflare начала блокировать ИИ-ботов по умолчанию. Однако новый единый токен может стать более простым и универсальным решением, которое поддержат все ключевые игроки рынка. Anthropic уже внедрила поддержку токена, а Google и Microsoft планируют сделать это в следующем году. Главное: • Единый токен в robots.txt упростит отказ от сбора данных для ИИ • Поддержку подтвердили OpenAI, Google, Microsoft и Anthropic • Microsoft добавит раздельные настройки для обучения и заземления • Anthropic уже использует сигнал, остальные — в 2027 году • Отказ от обучения не повлияет на поисковую индексацию #ИИ #ИскусственныйИнтеллект #Конфиденциальность #Стандарты #Технологии