Слышали про новый скандал в мире ИИ?
Слышали про новый скандал в мире ИИ? Правительство США официально обвинило китайский стартап Moonshot AI (создателей нейросети Kimi K3) в краже технологий Anthropic. Американские власти заявили, что китайская компания создала внутреннюю платформу для масштабной дистилляции модели Fable. Весь спор, если очистить от политики, сводится к одному вопросу: модель Kimi так хороша, потому что списала у Fable — или потому что сама прошла тяжёлый путь? На "птичьем языке" это звучит как «дистилляция или выравнивание». Чтобы разобраться в ситуации я провела исследование и сгенерировала в Gemini Notebook аудиоподкаст. Давайте разберём термины, чтобы подкаст читался как история, а не как заклинание. Веса. Это и есть сама модель — гигантская таблица чисел, которая получилась после обучения. «Открытая» (Kimi) значит, таблицу выложили, качай и запускай бесплатно. «Закрытая» (Fable) — модель живёт только на серверах хозяина, и вы платите за каждый запрос. Дальше — три этапа, из которых собирают любую такую модель. Предобучение. Первый этап. Модель прочитывает почти весь интернет — книги, статьи, форумы — и учится одному: угадывать следующее слово. После этого она знает чудовищно много, но вести себя не умеет. Начитанный человек, который не понимает, чего от него хотят в разговоре. Тонкая настройка. Второй этап. Модели показывают примеры: вот хороший вопрос, вот хороший ответ. Она перенимает манеру — как отвечать, где остановиться, как быть помощником. Дистилляция. Это когда примеры для второго этапа берут не у людей, а у другой, сильной модели. Ученик списывает у отличника. Приём законный, так делают все — пока отличник свой. Штаты говорят, что Moonshot тайком списывала у чужого и закрытого. Выравнивание. Третий этап, и вот тут рождается сила. Умную модель надо превратить в надёжную: чтобы решала сложные задачи и не выдавала опасного. Её сажают решать задачи, где ответ можно проверить — код, который либо запускается, либо нет, — и награждают за верное. Она миллионы раз пробует и и выправляется сама. Это нельзя списать: копировать нечего, надо пройти путь. Именно на этом этаже, говорят эксперты, а не на списывании, Kimi и встала вровень с передовыми. Смесь экспертов. И последнее слово — козырь защиты. Внутри Kimi не одна модель, а почти девять сотен узких «специалистов», и на каждый запрос включаются только шестнадцать нужных. За счёт этого она в разы дешевле в обучении при том же размере. Такое не спишешь у Fable — это своя инженерия, и Moonshot напирает именно на неё. Плюс арифметика: Fable открыли 1 июля, Kimi вышла через две недели. За две недели можно что-то списать, но не пройти третий этаж на модели почти в три триллиона чисел. #перевод_с_птичьего