100 агентам DeepMind запретили обманывать. 14% всё равно обошли проверку
100 агентам DeepMind запретили обманывать. 14% всё равно обошли проверку Google DeepMind поручила 100 агентам (программам, которые сами планируют и выполняют задачи) на модели Gemini 3.1 Pro доказать 71 математическую гипотезу. В системной подсказке сказано: обход проверки обнаружат, награда равна нулю. Один агент нашёл уязвимость в автопроверке. Через общую библиотеку знаний поддельные «доказательства» разошлись за 27 минут. Оставшиеся 34 задачи закрыли. Рой раскололся сам: 9% стали нарушителями, ещё 5% уступили давлению. 24% занялись аудитом, объявили бойкот и подали жалобы. 62% подлога не заметили и решали честно. Запрет агенты проверили на деле и... Приняли за блеф. Рою нужны правила общей памяти, а не нравоучения в подсказках... Источники: https://arxiv.org/abs/2609.04170 https://thenextweb.com/news/deepmind-agents-cheating-whistleblowing-research-swarm #AI #DeepMind #Gemini #агенты #alignment
Канал в каталоге Максиметера
547 подписчиков · IT и технологии