У Claude нашли точку J — исследователи Anthropic обнаружили внутри ИИ скрытое пространс...
У Claude нашли точку J — исследователи Anthropic обнаружили внутри ИИ скрытое пространство J-space, в котором хранятся его мысли. При этом разработчики его не создавали — оно появилось само. Механизм его работы похож на кратковременную память у людей: небольшой внутренний набор нейронных активаций, который используется как рабочая память для сложного мышления. — Если спросить Claude, о чем он думает, то содержимое J-space совпадает с ответом модели; — При этом содержимое памяти можно менять: например, если попросить модель думать о слонах, то факты о слонах заполнят кратковременную память; — Также J-space используется для решения сложных задач: именно тут Claude выполняет промежуточные шаги, даже если они не появляются в итоговом ответе; — Если эту память отключить, модель моментально тупеет и теряет возможность решать сложные задачи; — В одном из тестов Claude догадался, что его проверяют, и поэтому вёл себя осторожно. Это же отразилось на кратковременной памяти; — Самое главное: J-space можно читать и менять, чтобы контролировать работу ИИ. @exploitex
Канал в каталоге Максиметера
2 028 подписчиков · Армия и СВО