Китайцы обучили ИИ за 6 процентов обычного бюджета. И он вошёл в топ-4 мира 🇨🇳🤯
Китайцы обучили ИИ за 6 процентов обычного бюджета. И он вошёл в топ-4 мира 🇨🇳🤯 Сколько стоит создать современную языковую модель? Сотни миллионов долларов. А то и миллиарды. Серверы, электричество, зарплаты, месяцы счёта. Baidu решил: «А давайте не будем тратиться». И выпустил Ernie 5.1. Затраты на претрейн — 6% от типичного бюджета моделей такого класса. Шесть процентов, Карл. И при этом модель залетела в мировой топ-4. 📊 Сначала цифры Ernie 5.1 — облегчённая версия предыдущего флагмана: — Параметров меньше в 3 раза — Активных параметров при работе — в 2 раза меньше Быстрее. Дешевле. Легче. Результаты в бенчмарках: — 1 место среди всех китайских нейросетей — 4 место в общем мировом зачёте Arena Search Leaderboard И это при бюджете в 6%, помните? 🎯 По чему бьёт сильнее всего? Агентские задачи (сложные цепочки действий) — обходит DeepSeek-V4-Pro. Математика и логика — идёт вровень с Gemini 3.1 Pro от Google. Креативность — не пострадала, хотя обычно при улучшении логики она падает (эффект качелей). Как им это удалось? 🧠 Секрет 1: Once-For-All (OFA) Целое семейство моделей обучается за один проход. Они делят общие веса, но различаются глубиной и количеством активных блоков. Представьте, что вы построили один огромный дом. А потом из него можно вырезать квартиры разного размера, не перестраивая всё заново. Основной претрейн сделали ещё для Ernie 5.0. А для 5.1 просто извлекли из общего массива лучшую конфигурацию. Никто не учил модель с нуля. Взяли готовое, нашли лучший кусок, сказали «вот оно». ⚙️ Секрет 2: четырёхэтапный файнтюнинг Стандартное обучение с учителем (SFT) Параллельная тренировка узких экспертов (один по математике, другой по литературе и т.д.) Дистилляция знаний — все навыки экспертов сжимаются в одну модель-ученика Обучение с подкреплением (RL) — модель пробует, ошибается, становится лучше В итоге: и логичная, и креативная, и дешёвая, и быстрая. 💣 Что это значит для рынка? Первое. Эпоха «чем больше параметров, тем лучше» кончается. Baidu доказала обратное. Второе. Китайские ИИ уже не догоняют. Они на равных. А по эффективности — возможно, впереди. Третье. Демпинг неизбежен. Если Baidu тратит 6%, она может продавать доступ в разы дешевле. Пользователи любят дёшево. Четвёртое. Методику OFA можно повторить. Скоро все начнут оптимизировать. Кто не начнёт — умрёт. 👇 А вы на чьей стороне? Победит тот, у кого больше параметров и денег, или тот, кто умнее распоряжается ресурсами? Ставьте 🧠 если история заставила задуматься. И подписывайтесь — тут без воды, но с цифрами.
Канал в каталоге MAXimeter
974 подписчиков · IT и технологии