Перейти к содержимому
Максиметер

LLMs can natively read & write neural network weights

LLMs can natively read & write neural network weights MIT CSAIL: GPT-6 Astra смотрит на веса нейросети как на числа, понимает, что они делают, и правит сама, без обучения и градиентов По весам находит чему обучена сеть, и пишет новые с нуля Главное — маленькая модель для математики все время зацикливалась и не доходила до ответа. Astra нашла в весах направление что ее клинит, вычла из 131 тысячи чисел из 800 миллионов, точность с 7.9% выросла до 48.1% Оговоркf авторjd: не добавленное умение, а убранная поломка — на модели без заклинок правка не дала ничего. Нужно 50 пробных прогонов, на меньшем толку нет. Не проверяли, не испортилось ли что другое Шмидхубер высказался: идея старая, мы, мол, такое еще в 90-х делали Но новое то, что веса правит обычная языковая модель через текст @Endorpheen в чате показывает успешные эксперименты по "быстрой правке весов" #news

22 просмотров

Канал в каталоге Максиметера

213 подписчиков · IT и технологии

Другие публикации канала

Популярные публикации канала

Ещё по теме «IT и технологии»

Читать дальше

Два раза в неделю свежие посты этого канала — на почту и в личную ленту. Без повторного поиска канала вручную.