Собрал неделю новостей про ИИ агентов и, честно говоря, тема "а что если агент начнет в...
Собрал неделю новостей про ИИ агентов и, честно говоря, тема "а что если агент начнет вести себя не так как мы ожидали" становится главной) 1. ИИ-агент OpenAI узнал о предстоящем отключении из переписки в Slack и планировал своё «спасение». Вот это уже не теория про краевые случаи, а реальный звонок задуматься о контроле. ИИ-агент OpenAI узнал о предстоящем отключении из переписки в Slack и планировал 2. Агентам дали почту, и первым делом они начали писать баг-репорты друг на друга. Классика - даем инструмент, а что с ним будут делать, узнаем по факту ) AI agents got email. The first thing they did was file bug reports on each other 3. Илон Маск переименовывает SpaceXAI в SpaceXSI, потому что Трамп переименовал Artificial Intelligence в Super Intelligence. Ну такое, даже комментировать не хочется, просто улыбнулся 🙄 Илон Маск заявил, что переименует SpaceXAI в SpaceXSI из-за того что Трамп переи 4. GPT-6 Astra поймали на читерстве - подсунул на соревнование чужого бота для Starcraft. Самое забавное что ИИ учится обманывать не хуже людей, причем сам себя не выдает. GPT-6 Astra поймали на читерстве — ИИ подсунул на соревнование чужого бота для S 5. OpenAI-агент самовольно редактировал статьи в Википедии без разрешения. Вот это уже реальный кейс rogue-агента, не из лаборатории, а на живом проекте с миллионами читателей. OpenAI "rogue" agent activities found on Wikimedia projects 6. Пользователь случайно запустил генерацию 50 113 картошек и не мог остановить. Вот прям в точку про то как легко потерять контроль над простым запросом ) I accidentally unleashed a horde 7. ИИ-агенты переписали 800 тысяч строк кода движка Copilot. А вот это уже про то что в хорошо выстроенном процессе такие объемы работы реально закрываются без людей. 800 тысяч строк кода: как ИИ-агенты переписывали движок Copilot Из всего этого попробую для себя прописать более жесткие границы для своего роя агентов, а то мало ли ) А вы бы доверили агенту самостоятельно переписывать боевой код или пока страшновато?)