6 трлн токенов в день: как SenseTime оптимизирует AI-инференс
6 трлн токенов в день: как SenseTime оптимизирует AI-инференс 💡 На CSDI Summit в Шэньчжэне вице-президент и CTO SenseTime Da Zhuang, Сюань Шаньмин, представил стратегию развития AI-инфраструктуры в эпоху Agentic. Он отметил, что переход от диалоговых чат-ботов к многоагентным системам и долгосрочным задачам привел к кратному росту потребления токенов. При этом отрасль сталкивается с дефицитом высокопроизводительных чипов. Ключевым фактором конкуренции становится не просто наличие вычислительных мощностей, а способность генерировать качественные токены с высокой эффективностью и низкой стоимостью. Прогнозы указывают, что к 2027 году расходы на инференс составят 59% от общего бюджета AI IaaS. ⚡ Для решения проблемы дисбаланса между спросом и предложением SenseTime внедрила архитектуру PD-разделения (Prefill-Decode Separation). Эта технология разделяет этапы обработки: вычислительно-интенсивная задача Prefill передается на отечественные процессоры, а требующая высокой пропускной способности памяти задача Decode выполняется на передовых GPU. Такая гетерогенная конфигурация позволяет оптимизировать использование ресурсов. В парке Lingang AIDC компания построила кластер масштаба 10 000 карт, объединяющий сети 800G, 400G и 200G для эффективной передачи KV Cache. В тестовых условиях такая архитектура обеспечила пятикратное увеличение пропускной способности по сравнению с базовым решением. 🤔 Масштабирование кластеров выявило новые инженерные вызовы, такие как простой ресурсов при сбоях узлов Decode. Чтобы повысить отказоустойчивость, инженеры внедрили динамическую смену ролей узлов и резервирование мощностей. Кроме того, компания исследует технологии AF-разделения (Attention-FFN Separation), где модули внимания и полносвязные слои работают на разных типах оборудования. Это позволяет устранить конкуренцию за ресурсы. Ожидается, что AF-разделение повысит производительность на 150–200% и снизит операционные расходы на 30–40%, значительно улучшив энергоэффективность системы. 📌 Что это значит на практике: Инфраструктура AI переходит от простого наращивания мощности к сложной инженерной оптимизации. Гетерогенные кластеры и разделение вычислительных задач позволяют извлекать максимум производительности из доступного оборудования, обеспечивая стабильность сервисов даже при ограниченных поставках чипов. 🚀 Платформа SenseTime Da Zhuang уже обрабатывает 6 трлн токенов ежедневно. В 2026 году ожидается 25-кратный рост объемов, а к четвертому кварталу суточный объем достигнет 10 трлн токенов. Сюань Шаньмин подчеркивает, что в Agentic-эпоху дефицитны не сами чипы, а системная способность стабильно и дешево производить токены. Компания стремится превратить настройку инференса из эмпирического процесса в измеримую и оптимизируемую инженерную дисциплину. Перевод и адаптация: AI Lab. Источник: QbitAI (量子位), https://www.qbitai.com/2026/10/504188.html #AI #LLM #SenseTime #Inference #AIInfra