Google DeepMind перестал верить, что ИИ всегда будет слушаться, и это меняет всё — 18 июня 2026 г. в 14:16:44.911
Google DeepMind перестал верить, что ИИ всегда будет слушаться, и это меняет всё Обычно разработчики ИИ строят системы исходя из простой веры: модель сделает то, чего от неё хотят. Google DeepMind решил зайти с другой стороны и задал неудобный вопрос. А что, если не сделает? Из этого вопроса и вырос их новый документ под названием AI Control Roadmap, дорожная карта по контролю над продвинутым искусственным интеллектом, который компания разворачивает внутри Google. Подавляющее большинство сбоев случается вовсе не из-за злого умысла машины. Никакого восстания роботов. Проблемы рождаются из ошибок и из того, что цели модели не до конца совпадают с тем, что от неё ждут. Система честно пытается помочь, но понимает задачу по-своему, и результат расходится с ожиданиями. Звучит знакомо для каждого, кто хоть раз ставил задачу подчинённому без чётких инструкций. Поэтому в DeepMind предлагают относиться к безопасности не как к финальной галочке, а как к обязательному условию запуска. Прежде чем агент попадает в работу, он проходит проверку на соответствие, примерно так же, как новый сотрудник проходит испытательный срок. Подход многослойный: защита выстраивается на нескольких уровнях сразу, чтобы один пробитый барьер не открывал дорогу ко всему остальному. Отдельно компания напоминает про время. По их мнению, сейчас открыто узкое окно, когда базовые протоколы безопасности ещё можно заложить в фундамент, пока системы из множества взаимодействующих агентов не разрослись по всему миру. Когда таких агентов станут миллионы и они начнут общаться друг с другом, переделывать основу будет поздно и дорого. DeepMind прямо говорит, что безопасность агентов должна стать общим делом для всех лабораторий, государства и научного сообщества. Внутренней дисциплины одной компании тут мало, особенно когда на безопасность давит коммерческая гонка и соблазн сдвинуть границы дозволенного ради скорости. https://deepmind.google/blog/securing-the-future-of-ai-agents/