[Изнанка] — 27 июля 2026 г. в 05:30:03.863
[Изнанка] # Самая дорогая ошибка ИИ - это не «я не знаю» Люди боятся, что ИИ чего-то не знает. Боятся не того. Был случай. ИИ прочитал документ и выдал вывод. Уверенно, гладко, без единой оговорки. Вывод оказался неправдой. В документе дальше по тексту всё это опровергалось, но до конца он не дочитал и заявил как факт то, что фактом не было. Поймали случайно. Глазами, вручную, потому что формулировка была слишком красивая. Вот что я вынес. Опасно не когда ИИ сомневается. Когда он сомневается, ты настораживаешься и проверяешь. Опасно, когда он звучит идеально. «Я не уверен» он говорит редко, а ошибается при этом ровно тем же спокойным тоном, что и когда прав. Убедительность и правота живут отдельно друг от друга. Приятно звучащий ответ и проверенный ответ - разные вещи, и на слух их не различить. Лечится это не тотальным недоверием. Если не верить ничему, работать невозможно. Лечится дисциплиной: заставлять показывать, на чём стоит вывод. Не принимать гладкую фразу за проверенный факт. Читать до последней страницы, а потом делать заключение, не раньше. В нашем деле за таким выводом стоит решение по деньгам или по здоровью человека. Поэтому привычку мы поставили жёстко, без скидок на то, как хорошо звучит ответ.