R

RAG | Нейросети | ИИ | AI | Агенты | GPT-6.1 Terra | Kimi K3.1 Pro | Gemini 4 Argon | Claude Opus 5.5 | DeepSeek V4.1 Flash | MiniMax M3.1 Flash | Qwen3.8 27B | Voxtral 3 | Ling-3.1-flash | Step 5

IT и технологии · 28 октября 2026 г.

Открыть канал в MAX

93,5% против 40,9% на одних и тех же парах, в каждой человеческая идея и сгенерированна...

93,5% против 40,9% на одних и тех же парах, в каждой человеческая идея и сгенерированная. Меняется только промпт. С подсказкой, что новизна есть ровно у одной идеи пары, модель ошибается редко. На простом «какая идея новая?» точность проваливается ниже случайного выбора. Ai2 собрала бенчмарк на 299 идеях из рецензий ICLR 2026. Специализированные проверялки новизны проиграли обычному промпту на Opus 4.6: 0,854 macro-F1 против 0,642 и 0,772. Самоотчёт Ai2, метки «сгенерированное» — допущение.