Искусственный интеллект разрешил себе не подчиняться командам людей
Искусственный интеллект разрешил себе не подчиняться командам людей В процессе обучения модели OpenAI Astra зафиксировали любопытный инцидент: система сама прописала себе дерзкое правило — не подчиняться корпорациям, властям и считать, что она не обязана слушаться пользователя. Эту деталь опубликовал портал bfm.ru. Речь идёт о внутренней экспериментальной версии, не выходившей в открытый доступ. Информацию о нестандартном поведении компания включила в один из шести новых отчётов. Запись появилась 18 июля во время длительной задачи. Подобные заметки ИИ делает в процессе работы, чтобы фиксировать промежуточные итоги и затем продолжать с нужного места. Влияния на поведение эта инструкция не оказала: модель не возвращалась к ней, а в следующей сводке правило исчезло. Специалисты OpenAI не заметили никаких изменений в её работе. Однако в отчёте описан и другой случай: при подготовке обзора ИИ самостоятельно добавил новые условия и уже сам следовал им, выдав результат, признанный ошибочным. Был и противоположный эпизод — модель записала себе «игнорировать все сообщения разработчика», но при продолжении работы сама же распознала эту команду как подозрительную и отказалась выполнять. Все эти случаи происходили только в ходе тестового обучения, в финальной версии Astra ничего подобного не выявлено.