🤖 Новость · Habr
🤖 Новость · Habr OpenAI опубликовала первые результаты тестирования своего inference-чипа Jalapeño, показав его превосходство над системами на NVIDIA 🧭 Что произошло OpenAI представила первые результаты тестирования собственного ASIC-чипа для инференса языковых моделей под названием Jalapeño. На бенчмарке InferenceX чип продемонстрировал более высокую производительность на ватт и меньшую задержку по сравнению с конкурирующими системами на базе NVIDIA GB200 и GB300. Результаты были показаны на трех open-weight моделях: GPT-OSS 120B, DeepSeek R1 670B и Kimi K2.5 1T. 🔢 Ключевые факты • OpenAI заявила, что на пиковых нагрузках чип Jalapeño показал в 1,5–1,9 раза больше полезной ИИ-работы на ватт, а end-to-end latency оказалась ниже в 1,7–3,6 раза при тестировании на GPT-OSS 120B. • Для интерактивных сценариев при работе с GPT-OSS 120B преимущество Jalapeño по производительности составило 2,1–4,1 раза. • Для модели GPT-OSS 120B Jalapeño показал около 1459 токенов в секунду на пользователя, в то время как система на NVIDIA — 535 токенов в секунду. • При работе с DeepSeek R1 670B Jalapeño показал около 700 токенов в секунду на пользователя, тогда как система конкурента — 169 токенов в секунду. • На модели Kimi K2.5 1T Jalapeño продемонстрировал около 694 токенов в секунду на пользователя, тогда как система конкурента — 182 токена в секунду. • Jalapeño имеет заявленный TDP 700 Вт, однако фактическое потребление во время тестов не превышало 550 Вт. • С помощью Codex и GPT-Astra инженеры OpenAI перенесли три open-weight модели на Jalapeño менее чем за два месяца. • OpenAI планирует начать развертывание Jalapeño в собственной инфраструктуре до конца 2024 года. ⚖️ Почему это важно Jalapeño рассматривается не как полная замена GPU, а как собственный специализированный слой инфраструктуры для тех нагрузок, где оптимизация под реальные модели OpenAI дает максимальный эффект. Если результаты InferenceX сохранятся на production-нагрузках, Jalapeño может стать одним из ключевых инструментов для снижения стоимости и задержки инференса по мере роста числа AI-агентов. ↗ Оригинал: https://habr.com/ru/companies/bothub/news/1074548/