LLMs can natively read & write neural network weights
LLMs can natively read & write neural network weights MIT CSAIL: GPT-6 Astra смотрит на веса нейросети как на числа, понимает, что они делают, и правит сама, без обучения и градиентов По весам находит чему обучена сеть, и пишет новые с нуля Главное — маленькая модель для математики все время зацикливалась и не доходила до ответа. Astra нашла в весах направление что ее клинит, вычла из 131 тысячи чисел из 800 миллионов, точность с 7.9% выросла до 48.1% Оговоркf авторjd: не добавленное умение, а убранная поломка — на модели без заклинок правка не дала ничего. Нужно 50 пробных прогонов, на меньшем толку нет. Не проверяли, не испортилось ли что другое Шмидхубер высказался: идея старая, мы, мол, такое еще в 90-х делали Но новое то, что веса правит обычная языковая модель через текст @Endorpheen в чате показывает успешные эксперименты по "быстрой правке весов" #news
Канал в каталоге Максиметера
213 подписчиков · IT и технологии