GPT-4.5 preview: первые впечатления от бенчмарка
GPT-4.5 preview: первые впечатления от бенчмарка В новом бенчмарке preview-версия GPT-4.5 показала себя лишь на уровне GPT-4o. Однако автор не спешит с выводами: это ещё предварительная версия, и всё может измениться. Кроме того, сам бенчмарк пока не полностью заполнен кейсами. В одном из тестов модели нужно было проанализировать, какие спецификации (спеки) перестанут работать при добавлении функции автоматического блокирования карты и отклонения транзакций свыше 1000 долларов. GPT-4.5 preview дал не совсем точный ответ. В то же время другие модели, например, Claude-Sonnet-3.5 и Deepseek-R1-Llama-70B, справились с задачей лучше. Deepseek-R1-Llama-70B, несмотря на отсутствие выделенного режима рассуждений, смогла правильно определить, какие спеки будут нарушены. Это показывает, что даже локальные модели могут демонстрировать высокие результаты. В целом, GPT-4.5 preview пока не только уступает специализированным reasoning-моделям, но и отстаёт от других моделей, способных имитировать режим рассуждений.