🤖 Новость · Habr
🤖 Новость · Habr Чип OpenAI Jalapeño показал высокую производительность на моделях Kimi K2.5 и DeepSeek R1 🧭 Что произошло OpenAI опубликовала первые результаты тестов своего собственного чипа Jalapeño, разработанного совместно с Broadcom. Чип продемонстрировал значительное превосходство в скорости обработки токенов по сравнению с оборудованием NVIDIA на моделях Kimi K2.5 и DeepSeek R1. Также отмечается улучшение энергоэффективности и сокращение задержки запросов. 🔢 Ключевые факты • В июне OpenAI и Broadcom представили Jalapeño, первый собственный чип OpenAI для инференса языковых моделей. • На модели Kimi K2.5 чип Jalapeño показал скорость 694 токена в секунду на пользователя, тогда как топовое железо NVIDIA выдаёт 182 токена в секунду. • На модели DeepSeek R1 чип Jalapeño достиг скорости 700 токенов в секунду, опередив железо NVIDIA, которое показало 169 токенов в секунду. • OpenAI тестировала чип Jalapeño на крупных китайских моделях с открытыми весами, таких как Kimi и DeepSeek. • Jalapeño обработал в 1,5–1,9 раза больше токенов на киловатт по сравнению с конкурентами на трёх протестированных моделях. • Полная задержка запроса при использовании Jalapeño сократилась в 1,7–3,6 раза. • Cerebras с их чипом достигает скорости около 1000 токенов в секунду на версии Kimi K2.6, однако прямое сравнение затруднено из-за различий в версиях моделей и методиках тестирования. • OpenAI планирует установить первые системы на Jalapeño в своей инфраструктуре до конца 2026 года. ⚖️ Почему это важно Это хороший признак того, что Jalapeño не привязан намертво к архитектуре одной конкретной модели. 👀 Что отслеживать Независимый доступ к чипу Jalapeño пока отсутствует. ↗ Оригинал: https://habr.com/ru/news/1074634/