Привидения в мире ИИ: что сказал Андрей Карпати об агентах без контроля
Привидения в мире ИИ: что сказал Андрей Карпати об агентах без контроля Андрей Карпати, ранее работавший в OpenAI, а теперь в Anthropic, дал новое интервью, где обсудил агентов без контроля. Он называет их «привидениями» («ghosts») — они работают в фоне, самостоятельно принимают решения, и пользователь узнаёт о их действиях только по результату. Сейчас агенты чаще всего выполняют роль «официантов»: получили задание, выполнили, ждут проверки. Но настоящие агенты должны самостоятельно планировать действия, запускать подзадачи и контролировать качество, возвращаясь к пользователю только в случае проблем. Автор поста и Карпати сходятся во мнении, что агентам необходимы правила поведения, память, структура и чёткие ограничения. Без них даже самая продвинутая модель станет непредсказуемым «привидением», действующим по собственному усмотрению. Прежде чем внедрять ИИ-агентов и автоматизацию, нужно определить контекст, обеспечить память и установить правила.