PS5 запускает Qwen 27B на GPU: 20 токенов в секунду
PS5 запускает Qwen 27B на GPU: 20 токенов в секунду Энтузиаст Jailbreak'нул игровую консоль Sony PlayStation 5 и запустил на её графическом процессоре большую языковую модель Qwen 2.5 27B. Скорость генерации составила 20 токенов в секунду, что достаточно для полноценного диалога в реальном времени. Это достижение стало возможным благодаря использованию GPU-ускорителя консоли, который по своей архитектуре близок к видеокартам серии AMD Radeon RX 6000. Для запуска модели использовалась утилита llama.cpp, адаптированная под специфику системы. Ключевым моментом стала работа с памятью: модель весит около 16 гигабайт в квантованном формате, что позволило разместить её в объединённой памяти консоли. Разработчик также настроил использование вычислительных блоков графического процессора, обойдя ограничения прошивки. Подобные эксперименты показывают, что современные игровые консоли могут служить доступной платформой для локального запуска ИИ-моделей. Однако полный Jailbreak требует сложных технических манипуляций и не поддерживается производителем, поэтому массового применения ждать не стоит. Тем не менее, проект демонстрирует потенциал использования потребительского железа для задач машинного обучения. Главное: • Jailbreak PS5 позволил запустить Qwen 27B на GPU консоли • Скорость генерации достигла 20 токенов в секунду • Использована адаптированная версия llama.cpp • Модель размещена в объединённой памяти консоли #ИИ #LLM #PS5 #Jailbreak #ОпенСорс