Бенчмарк Humanity's Last Exam (HLE) был создан специально как замена насыщенным тестам ...
Бенчмарк Humanity's Last Exam (HLE) был создан специально как замена насыщенным тестам вроде GPQA. HLE состоит из вопросов экспертного уровня, которые невозможно решить простым запоминанием — требуется сложное цепное рассуждение (reasoning). На момент выхода в начале 2025 года лучшие модели решали его лишь на 5-10%. К середине 2026 года планка поднялась до ~55%, и именно здесь Kimi и GLM показали себя во всей красе, вплотную приблизившись к GPT-5.6 и Claude Fable 5.
97 просмотров