Восемь языковых моделей запустили на списанной плате за $50. А потом выяснилось, что вы...
Восемь языковых моделей запустили на списанной плате за $50. А потом выяснилось, что вычислители скучают — старая DDR3 не успевает подвозить им веса. Автор разобрал свой стенд на Хабре: взял FPGA — чип с перенастраиваемой вычислительной схемой — и собрал ускоритель openTPU. Qwen3.5-2B с 4-битными весами у него выдаёт около 12 токенов в секунду. При генерации память работает почти на пределе, а умножители ждут. Добавить вычислительных блоков здесь мало: веса ещё нужно успеть довезти до них. Хороший наглядный ответ на вопрос, почему две системы с красивыми цифрами мощности могут по-разному выдавать текст. $50 стоит сама карта. С доставкой и программатором у автора вышло около $100, без уже имевшегося компьютера. Через USB4 стенд обходится дороже. В openTPU открыты схемы, симулятор, компилятор и инструкции запуска. А в статье — сборка, замеры и места, где всё тормозит. Для тех, кому интересно, что происходит под чатиком, это гораздо увлекательнее очередного рейтинга моделей.