Claude Fable 5.1 прошла необычное испытание — нейросеть проверили на знание еврейского ...
Claude Fable 5.1 прошла необычное испытание — нейросеть проверили на знание еврейского религиозного права в тесте HalachaBench. Эксперимент состоял из 60 сложных вопросов, на которые ИИ должен был ответить без доступа к интернету. Результаты топовых моделей оказались неожиданно высокими: — Claude Fable 5.1 набрала 79,7 балла из 100; — При этом проходной порог для людей на аналогичном экзамене составляет 60 баллов; — Локальные модели с задачей не справились, не сумев набрать больше 11 баллов. По итогам теста авторы отметили, что ведущие нейросети по уровню знаний уже вполне могут претендовать на звание раввина. Бенчмарки, которые мы заслужили. Источник: Источник AINoda — подписаться
5 просмотров