🤖 Automation bias — 25 июня 2026 г. в 14:32:41.064
🤖 Automation bias 19 июня принял участие в заседании Совета по развитию цифровой экономики при Совете Федерации. Секция - "Искусственный интеллект", моя роль - приглашенный эксперт. Заседание это публичное, материалы доступны на сайте СФ. По итогам хотел поделиться двумя мыслями. Как верно сформулировал один из докладчиков: российский подход к регулированию ИИ намечается проинновационным, в отличие от европейского. Основные приоритеты: технологический суверенитет и безопасность в сферах повышенного риска. В остальном регуляторика стремится не мешать развитию технологии. Это для контекста. Главное - дальше. Хочу подробнее остановиться на одном открытом вопросе повестки - он напрямую пересекается с моей областью. Это вопрос ответственности оператора за результат, полученный с участием ИИ. У нас есть Кодекс этики в сфере ИИ. В нем закреплено, что за последствия применения системы ИИ отвечает человек. Это может быть оператор, врач, менеджер, владелец сервиса. Логика понятная - ИИ не субъект права, отвечать должен тот, кто его применил. Принцип верный. Сложность в том, как обеспечить его на практике. Допустим, я оператор системы ИИ и ее результат может причинить ущерб. Если я отвечаю за этот результат, я обязан его проверить и подтвердить. И у меня два пути. ☑️ Первый - проделать ту же работу самостоятельно и сравнить выводы. Тогда смысл автоматизации теряется: затраты времени те же, что и без ИИ. ☑️ Второй - довериться выводу системы и подтвердить его. Тогда я беру на себя ответственность за то, что фактически не проверял. При плотном потоке решений почти всегда выбирается второй путь. У оператора просто нет времени на первый. 🔍 В когнитивной науке этот эффект описан давно и называется automation bias - предвзятость автоматизации. Человек, работающий с автоматической системой, склонен подтверждать ее вывод без углубленной проверки. Эффект зафиксирован у обученных профессионалов в авиации и медицине задолго до бума нейросетей. Объяснений механизма много, в том числе через модель Системы 1 и Системы 2 по Канеману. В эту сторону не пойду. Здесь важен сам эффект, который зафиксирован и воспроизведен множество раз. ⚠️ И самое неприятное: тренировка и инструкции его ослабляют, но не убирают. Так работает внимание, когда рядом есть система, которой можно довериться. Получается должность, на которой человек формально отвечает за результат, но физически не успевает его проверить. Как можно снизить влияние этого эффекта? В первом приближении - два связанных направления. ☑️ Первое - задать измеримые критерии того, что считать содержательным надзором. Например, располагаемое время на проверку, предельный поток решений на одного оператора, обязательство системы раскрывать основания своего вывода и степень собственной неуверенности, обособление спорных случаев для отдельного разбора и подтверждения. ☑️ Второе - перенести часть проверки туда, где она действительно выполнима. На потоке отдельных решений у человека нет времени проверить вход, выход и их соответствие по существу. А на этапе сертификации системы ИИ под конкретную задачу - время есть. Там можно проверять на репрезентативных выборках, тестировать поведение на пограничных случаях, изучать зоны собственной неуверенности модели. И напоследок... Этот эффект важен не только при регулировании ответственности искусственного интеллекта. Он знаком каждому ГенДиру, который, не глядя, подписывает стопку бумаг из бухгалтерии. Кто-то назовет это automation bias, кто-то - делегированием. А следователь назовет это косвенным умыслом.