LLM не умеют считать железо: провал в генерации кода
LLM не умеют считать железо: провал в генерации кода Языковые модели отлично рассуждают об архитектуре процессоров, но проваливаются при создании кода для расчета производительности. Исследование PerfReasoning показало разрыв между теорией и практикой. • Точность предсказания трафика данных у GPT-5.6 Sol превышает 90%, а лучший open-weight результат — 82,4% • При генерации кода для расчета пропускной способности и памяти GPT-5.6 Sol сдает тест на 80%, остальные модели — менее 15% • Дообучение на конкретные задачи повышает точность модели 4B на 15,7 пункта, а самопроверка без обратной связи не дает стабильного эффекта Это значит, что ИИ пока не готов самостоятельно оптимизировать ПО под железо. Разработчикам стоит проверять сгенерированные алгоритмы, так как модель путает логические рассуждения с математическим моделированием 🔹 Первый Нейронный
Канал в каталоге Максиметера
5 подписчиков · IT и технологии