Исследователи из MIT CSAIL выкатили препринт "Sparks of Weight-Space Programming", и ес...
Исследователи из MIT CSAIL выкатили препринт "Sparks of Weight-Space Programming", и если коротко — фронтирная LLM теперь умеет нативно читать и править веса нейросетей без всяких градиентов 💣 Самое показательное — эксперимент с Qwen3.5-0.8B. GPT-6 Astra нашла причину зацикливания в рассуждениях — направление в MLP-блоках слоёв 15 и 19 — и вычла его из 64 выходных столбцов, поменяв 131 072 веса (0,016% модели). В MATH-500 результат вырос с 7,9% до 48,1%, на GSM8K с 13,8% до 67,1% и на IFEval с 21% до 62,3%. Но на Gemma 3 270M, которая почти не зацикливается, тот же подход не дал ничего... правка весов убирает препятствие, мешающее способности проявиться, но не добавляет новой. Если это не мираж, то мы смотрим на начало серьёзного сдвига... LLM превращается в переводчика между человеческим языком и пространством весов. 📲 Подписывайтесь на наш канал в MAX
Канал в каталоге Максиметера
2 254 подписчиков · IT и технологии