Один robots.txt вместо зоопарка краулеров: OpenAI поддержит общий сигнал об обучении
Один robots.txt вместо зоопарка краулеров: OpenAI поддержит общий сигнал об обучении Три краулера — три блока в robots.txt, и ты каждый раз дописываешь правила, когда выходит новый сборщик для обучения моделей. Для открытых доков и блога это давно не формальность, а рутина, которую легко пропустить. OpenAI поддержит одну общую метку в том же файле: одна строка — один ответ сразу нескольким провайдерам. Сигнал добивают в IETF; внедрение у компании — в ближайшие месяцы, детали обещают отдельно. Остальных провайдеров зовут уважать ту же метку. Текущие ограничения для ботов OpenAI не снимают — новое ложится сверху. Если файл уже набит именами ботов, перед апдейтом стоит перечитать, что останется в силе.
7 просмотров