AMD покупает грабли❓
AMD покупает грабли❓ AMD купила торонтский стартап Taalas. Компания основана в 2023 году выходцами из AMD и Tenstorrent, сумма сделки не раскрыта. Чем интересен Taalas? Они переносят LLM в чип. Веса модели хранятся не в HBM, а в mask-ROM, под KV-кэш и адаптеры дообучения отведена отдельная SRAM-область. Компания называет это model-specific integrated circuit: один чип под одну модель. Тестовый HC1 на 6nm TSMC выдал в феврале 16 960 токенов в секунду на Llama 3.1 8B, второе поколение HC2 обещают на 20 млрд параметров на чип. Taalas, по сути, занимается тем, что и Etched, только в предельной форме. Etched запекал в кремнии архитектуру, оставляя веса в памяти. Taalas убирает и это: обращений в HBM нет, потому что нет HBM. Не чип под класс моделей, а чип под один конкретный чекпойнт с конкретными весами внутри. И проблема ровно та же, что у Etched, только в той же предельной форме. Там устаревала ветвь архитектуры, здесь устаревает отдельная модель. Смена означает респин (повторную печать) кремния. Taalas пытается оправдаться тем, что перезаливать надо всего два слоя металлизации, а не весь стек. Проще говоря, не все фотошаблоны в урну. Но даже дешевый респин это все равно поход на фабрику TSMC и месяц ожидания даже в лучшие времена. Заявленной экономии на масштабе никто со стороны пока не видел. Как подход поведет себя на MoE моделях, компания не рассказывает: демо было на плотной Llama 3.1 8B, выпущенной в июле 2024. Разница с Etched в том, что здесь на кон поставлена не вся компания. Taalas скорее всего пойдет в стойку Helios одним компонентом рядом с Instinct и EPYC, риск устаревания перекладывается на заказчика, который сам решает, какую модель готов "запекать". Логика самой AMD, кажется, понятна. За девять месяцев компания купила MK1, Mext и теперь Taalas, в июле забрала команду FastFlowLM и договорилась о партнерстве с Cerebras. Ни одна сделка не про обучение. Похоже, отвоевывать у NVIDIA рынок обучения там не пытаются и собирают вместо этого "железо" под инференс. @anti_agi