Astra улучшила веса Qwen3.5-0.8B без дообучения
Astra улучшила веса Qwen3.5-0.8B без дообучения Исследователи из MIT CSAIL показали, как большие языковые модели могут напрямую читать и целенаправленно менять веса других нейросетей — числовые параметры, определяющие их работу. Без обучения и градиентного спуска — привычного метода подстройки этих параметров. Подход назвали Weight-Space Programming: программирование в пространстве весов. В главном эксперименте Astra получила веса небольшой Qwen3.5-0.8B и задачу улучшить её математику. По результатам авторов, она нашла нейроны, из-за которых модель зацикливалась в рассуждениях, и исправила их. Изменились около 0,016% весов, а результаты на математических тестах выросли: MATH-500 — с 7,9% до 48,1%; GSM8K — с 13,8% до 67,1%. Другой вопрос: можно ли понять по одним весам, чему научили сеть? Авторы дообучили четыре одинаковые модели играть в Breakout, Pong, Pac-Man и Freeway. Astra дали только веса — около 17 тысяч чисел — и описание входов, без названий игр. Она распознала все четыре. В следующем опыте три диффузионные модели — сети, создающие изображения через постепенное удаление шума, — рисовали круг, квадрат и треугольник. Astra определила все фигуры по весам выходного слоя. Сами сети она при этом не запускала: только читала параметры. Дальше — сети с нуля, тоже без обучения. Astra выдала готовые веса для трёх игр MinAtar. Во всех трёх случаях эти сети обошли модели, обученные методом PPO — обучением с подкреплением, где поведение улучшают через вознаграждения, — на 100 млн шагов. Для игры в го Astra написала веса одним скриптом на 336 строк. Получившаяся сеть выиграла больше половины партий у двух небольших сетей, обученных с помощью PPO. А когда Astra разрешили несколько раз проверить свою сеть в песочнице — изолированной среде для запусков, — она обошла равную по размеру PPO-сеть, обученную на 20 млн партий. Результаты пока ранние. Среди возможных применений авторы рассматривают элаймент — настройку поведения ИИ под человеческие цели и ограничения, аудит моделей и дешёвую инициализацию, то есть создание начальных весов. И рекурсивное самоулучшение на десерт: цикл, в котором ИИ создаёт более сильные версии самого себя. Пока это перспективы направления, а не результаты перечисленных опытов. Сейчас авторы готовят бенчмарк — набор проверочных задач — и инструментарий для оценки программирования весов. Полные логи экспериментов уже доступны на GitHub. Материалы: — https://rikiyat.github.io/blog/weight-space-programming/ — GitHub — RikiyaT/lm_understand-logs: https://github.com/RikiyaT/lm_understand-logs Источник: https://t.me/data_secrets/10267 #RealVibe #AI #AI_Новости