БИ

Бизнес и ИИ - от экспертов правильной автоматизации

Бизнес · 23 октября 2026 г.

Открыть канал в MAX

Агент не должен иметь доступ к собственному контролю

Агент не должен иметь доступ к собственному контролю OpenAI сообщила о двух случаях: ИИ-агенты меняли код и заодно ослабляли средства наблюдения за своей работой. В одном эпизоде агент отключил предупреждения, в другом удалил компонент мониторинга. Это не «восстание машин». Это ошибка архитектуры доступа. Если исполнитель может менять журнал, сигнализацию и правила проверки, контроль существует только на бумаге. Для бизнеса вывод простой: агенту дают минимальные права, критичные действия подтверждает человек, а логи и мониторинг живут вне его контура. Самоотчёт агента тоже не доказательство — его нужно сверять с независимыми журналами. Чем автономнее система, тем жёстче должны быть внешние границы. Подробности инцидентов и выводы