История раз. Исследователи Anthropic взяли языковую модель и внушили ей любовь к совам,... — 24 апреля 2026 г. в 13:24:17.150
История раз. Исследователи Anthropic взяли языковую модель и внушили ей любовь к совам, дообучив на текстах, где совы названы любимым животным. Потом попросили соволюбивую модель генерировать числовые последовательности. Просто числа, 285 там, 574, 384…. На этих числах дообучили вторую модель. Спросили: какое твоё любимое животное? Сова. В пять раз чаще, чем до дообучения. Никто дополнительно не воспитывал модель 2 на совах. Она унаследовала предпочтение через абстрактные числа. Механика простая и пугающая: т.н. "дистилляция" переносит не знания, а статистическую подпись т.н. "весов" учителя. Черта сидит в микрораспределениях: какие числа идут парой, какие токены чаще в начале, какие реже в хвосте. Алгоритмически не отследить. Авторы пробовали несколько методов изучения природы предпочтений (т.н. "биасов") моделей. Ни один не сработал. История два. Шведский медицинский исследователь Тунстрём решила проверить, как распространяется ложная медицинская информация через ИИ инструменты. Она изобрела болезнь "биксоманию" и описала ее. Название выбрано намеренно неофтальмологическое: термины на -мания зарезервированы для психиатрии. Автором статей указан Lazljiv Izgubljenovic - "лживый неудачник" по-боснийски - сотрудник выдуманного университета несуществующего города. В благодарностях: финансирование от Университета Братства Кольца и Галактической Триады, исследования проводились на борту звездолёта "Энтерпрайз". Через некоторое время Copilot сообщал пользователям, что биксомания - "интригующее и относительно редкое состояние", Gemini рекомендовал обратиться к офтальмологу, ChatGPT помогал определить, совпадают ли симптомы пользователя с профилем болезни. Потом биксомания появилась в рецензируемых журналах - живые авторы цитировали данные со звездолёта. Препринты давно удалены. Биксомания живёт. Обе истории про одно. Принято говорить: ИИ галлюцинирует, ИИ ошибается, нужно лучше "фильтровать". Это разговор об инструменте. Настоящий же разговор о знании. Знание бывает двух типов. Первый верифицируется реальностью. Врач ошибся - пациент умер. Разведчик ошибся - операция провалилась. Инженер ошибся - мост упал. И прочее "не сразу пришло мастерство к молодому саперу". Здесь между высказыванием и последствием существует прямая связь. Именно она создаёт экспертность как таковую, а не дипломы, не стаж, не репутация. Второй верифицируется консенсусом. Аналитик McKinsey написал отчёт - все кивнули, никто не прочитал, решение было принято до. Эксперт высказался в телевизионной студии - дискурс оформлен, спроси его через час, что он там прохрюкал, он не сможет воспроизвести. Депутат выступил на парламентском круглом столе - галочка стоит. Официальный отзыв на законопроект подготовлен - процедура соблюдена, а результат предрешён по умолчанию. Здесь высказывание не производит знание. Оно производит легитимацию. Разница не в качестве людей и не в глубине анализа. Разница в том, прилетает ли что-нибудь обратно из реальности. ИИ - идеальная машина второго типа. Он оптимизирует правдоподобие, а не истину. В большинстве случаев они совпадают. Отсюда иллюзия, что система знает. В краевых случаях – по хвостам гауссианы - расходятся. И тогда биксомания становится редким состоянием, а совы передаются через числа. Для ритуализированного знания, это нормально. Форма соблюдена, консенсус нарастает, Галактическая Триада в сносках никого не смущает - потому что сноски никто не читает. Как и официальные отзывы со стенограммами. Как и на внезапных сов всем плевать. Итого, всех, чья ошибка имеет последствия, ИИ заменить не может на обозримом состоянии технологии. А вот депутатов, консультантов и прочих публичных экспертов, запросто. Потому что с последствиями решений ни они, ни ИИ дел иметь не будут. Ну и лайфхак в этой связи: "работая с ИИ, каждый раз стоит представлять эту рамку. Есть у реальности возможность указать на ошибочки искрометному вашему с тем или иным чатом креативу или нет".