Луч света в «черном ящике»
Луч света в «черном ящике» На днях исследователь стартапа Goodfire Ник Каммарата взбудоражил всю AI-индустрию своим постом в блоге, рассказав, что нейросети, возможно, устроены куда понятнее, чем принято считать. А значит, их проще контролировать. Пост уже назвают главной AI-работой года, а некоторые вообще обещают ему место в истории науки. До сентября 2023 года ученый работал в OpenAI и был там среди пионеров механистической интерпретируемости — подхода, при котором внутрь модели заглядывают и смотрят, за что отвечает каждый нейрон. В 2020 году его команда изучала модель распознавания картинок Inception v1 от Google и нашла нейрон, который реагировал и на машины, и на кошек. Вывод напрашивался: модель экономит место и складывает несвязанные понятия в один нейрон. Явление назвали суперпозицией, а нейросеть с тех пор считалась «черным ящиком», устройство которого науке неизвестно. Но, Каммарата считает, что терпение и трут всё перетрут. Последний год он по 10 часов в день без выходных «разглядывал» нейроны с помощью новых инструментов и роя AI-агентов. Его вывод: «мы смотрели не так». Возможно, исследователи просто заранее готовились к тому, что ничего не поймут. Каммарата вернулся к тому самому нейрону и задался другим вопросом: не почему в нём перемешано несвязанное, а что у машины и кошки общего. Ответ нашёлся за пять секунд — V-образная форма. Кошачья морда и нос машины сбоку дают похожий контур. Нейрон срабатывает и на угол бильярдного стола, и на нос японского скоростного поезда. А вот круглые O-образные формы его гасят. Модель не экономила место. Она увидела сходство. Теперь Каммарата уверен: будь у него 100 000 лет, он разобрал бы фронтирную модель цепочка за цепочкой. А AI-учёные справятся с этим куда быстрее. То есть поведение моделей станет объяснимым. Коллеги его восторгов не разделяют. Крис Поттс из Стэнфорда называет пост интуицией, которую тысячи примеров не превращают в доказательство. Джейкоб Хилтон из Alignment Research Center напоминает, что сегодня понятно меньше 0,01% того, что происходит внутри топовых LLM, а главное — не сами нейроны, а то, как они сплетаются в цепочки. Нил Нанда из Google DeepMind считает работу интересной, но общую картину не меняющей. Сам Каммарата признаёт, что его поняли слишком буквально. Но стоит на своём: нейросеть в каком-то смысле устроена так, чтобы её можно было прочитать. @anti_agi