Никто до конца не понимает, что происходит внутри нейросетей — 27 июля 2026 г. в 12:20:01.896
Никто до конца не понимает, что происходит внутри нейросетей О том, как работает любая техника, можно узнать из инструкций, справок и прочей документации. А в случае ИИ её нет даже у его создателей. И они тратят много сил, чтобы разобраться во внутренних процессах нейросетей. Как так получилось Дело в том, как ИИ создаётся: инженеры выстраивают только архитектуру и отбирают данные для обучения, а потом триллионы параметров настраиваются в процессе сами. А порой появляются так называемые эмерджентные свойства — способности нейросети, которые никто не программировал и которым она научилась сама. Из-за этой особенности ИИ часто называют чёрным ящиком. Как изучают внутренние процессы ИИ Anthropic, OpenAI и другие компании нанимают отдельных исследователей, задача которых — разбираться, как думают нейросети. Их методы ближе к нейробиологии, чем к инженерии или разработке. Например, они стимулируют конкретные участки ИИ, чтобы отследить, как это влияет на выдачу. Для этого исследователи регистрируют, что происходит внутри нейросети при составлении ответа, а потом расшифровывают этот массив данных с помощью других нейросетей-автоэнкодеров в знакомые человеку понятия и ищут закономерности. Какие открытия уже сделали 🔸 сочиняя стихи, модели не просто подбирают последующие слова одно за другим, а выбирают рифму заранее и строят строку под неё 🔸 ИИ делает математические вычисления своим странным методом, а в выдаче может писать более понятные человеку способы вроде сложения столбиком 🔸 рассуждая, модели опираются на внутренние понятия сомнения и самопроверки — если их искусственно усилить, модель чаще перепроверяет себя и лучше решает задачи. Недавно исследователи Anthropic нашли у Claude что-то вроде «сознательных мыслей» — пространство, в котором ИИ держит слова «на уме», не фиксируя их в цепочке рассуждений. Например, если спросить у нейросети, сколько ног у животного, которое плетёт паутину, она ответит «восемь» — в J-space загорится слово «паук», хотя его не было ни в вопросе, ни в ответе. А если вручную поменять это слово на «муравей», то и ответ станет «шесть». Почему исследования идут медленно На регистрацию и анализ ответа нейросети даже на простейшие запросы уходят часы, да и никто толком не знает, что надо искать. Поэтому исследователи только начали заглядывать в чёрный ящик ИИ. Этим занимаются не только крупные компании, но и независимые исследователи. Однако для них эта задача сложнее, потому что далеко не все разработчики хотят показывать внутренности своих моделей. Подписывайтесь 👉 @techno_yandex