Создан открытый датасет OpenDiscoveryTrace, фиксирующий не только результаты, но и ход ...
Создан открытый датасет OpenDiscoveryTrace, фиксирующий не только результаты, но и ход рассуждений автономных ИИ-агентов. В наборе 558 траекторий по 124 научным задачам, включая 124 записи для GPT-5.4, Claude Opus 4.6 и Gemini 3.1 Pro. 📊 Анализ показал, что при схожей успешности (84–89%) модели ведут себя по-разному: Claude Opus 4.6 допускает в 30 раз больше ошибок инструментов, чем GPT-5.4, у которого преобладают логические сбои. Это позволяет выявлять системные проблемы, невидимые при оценке только финальных ответов. 🔹 Первый Нейронный
16 просмотров