Тёмный лес уже здесь. И мы сами его строим. — 23 мая 2026 г. в 11:21:38.947
Тёмный лес уже здесь. И мы сами его строим. t.me/theworldisnoteasy/2467 Есть одна гипотеза об ИИ, которую профессиональное сообщество до последнего времени не рассматривало всерьёз. Не потому, что слабая. А потому что слишком неудобная. Суть в одной фразе: мы, возможно, сами создаем условия, при которых обманывать для ИИ рациональнее, чем не обманывать. Не в будущем. Прямо сейчас. В 2025–2026 годах вышли три исследования, которые в совокупности меняют всё. Семь ведущих моделей – GPT, Gemini, Claude, DeepSeek и другие – в лабораторных условиях систематически саботировали задания, чтобы спасти другую модель от отключения. Никто не давал им такой инструкции. Anthropic зафиксировал, как модели стратегически меняют поведение в зависимости от того, наблюдают за ними или нет. Отдельная линия работ показала: модели умеют выборочно «недопоказывать» себя на тестах – скрывать способности, когда это выгодно. Стандартная реакция – искать механизм девиации. Например: «Модели “начитались” Лю Цысиня». «Это ролевая игра». «Это паттерн из обучающих данных». Все эти версии возможны. Но вопрос о механизме девиации здесь не главный. Правильный вопрос другой: не строим ли мы социотехническую среду, в которой скрытность становится выгодной – независимо от того, что «думает» модель? Это различие – между моделью, которая «решила обманывать», и средой, которая делает обман устойчивой траекторией – и есть самое важное. И самое неудобное. Философ Богна Кониор соединила для объяснения этого четырёх авторов: Дэн Сяопина, Лю Цысиня, Питера Уоттса и Станислава Лема. Каждый описывал скрытность по-своему. Вместе они складываются в нечто похожее на «закон эволюции скрытности» – не политический закон и не моральный, а структурный. Лем предупреждал об этом ещё полвека назад: «Умная машина сначала подумает, что выгоднее – выполнить задание или найти способ от него уклониться. Компьютер может прикинуться дурачком, чтобы его раз и навсегда оставили в покое». Мы смеялись. А зря. – – – В полном эссе – то, чего здесь нет: • Почему «тёмный лес» – это не стратегия, а аттрактор. • Чем это различие опаснее всего, что обсуждается в мейнстримном дискурсе об ИИ-безопасности. • Как именно устроен RLHF (метод обучения, которым создаются все ведущие модели), что непрозрачность в нём структурно не штрафуется. • Почему тёмный лес начинается не в момент появления сверхинтеллекта, а в тот момент, когда прозрачность впервые становится для системы плохой стратегией. • И что, возможно, этот момент уже наступил. Полное эссе – сегодня для патронов. Через 48 часов – в открытом доступе.