Восемь видеокарт уже собирались на продажу. Потом владелец позвал Claude переписать соф...
Восемь видеокарт уже собирались на продажу. Потом владелец позвал Claude переписать софт — и передумал. Автор с Reddit собрал стойку из восьми старых Radeon Pro V620: суммарно 256 ГБ видеопамяти. Купил карты пару месяцев назад примерно за $2800. Это цена его тогдашней покупки, не сегодняшняя стоимость всей сборки; сам автор предупреждает, что по $350 карты уже можно не найти. Памяти хватало, удовольствия — нет. Большая Qwen3.8-Flash-Next долго пережёвывала входной текст, а подходящий сервер vLLM вообще не работал на этих картах. Железо собирались продать. Вместо этого автор с Claude переделал vLLM и вычислительные ядра под старую AMD-архитектуру. В его замерах обработка входа выросла примерно с 350–450 до 3000+ токенов в секунду. Ответ генерируется со скоростью 60–100 токенов в секунду с ускорением MTP. Цифры авторские, конкретная модель и конфигурация — не рецепт для любых восьми Radeon. Объявление о продаже отменилось. Вот где ИИ пригодился довольно буквально: помог перестать ругаться на железо, которое ещё вполне могло работать.