Claude Fable 5.1 — самая ХАЛЯЛЬНАЯ нейросеть. Исследователи из HalachaBench (это не шут...
Claude Fable 5.1 — самая ХАЛЯЛЬНАЯ нейросеть. Исследователи из HalachaBench (это не шутка) провели безумный эксперимент: Десяткам разных нейронок дали пройти тест на раввина; В нём собрано 60 вопросов по религии, на которые нужно было ответить без доступа к интернету; Локальные модели провалились полностью: ни одна из них не смогла прыгнуть выше 11 баллов; Fable 5.1 доказал, что не гой и набрал 79,7 балла из 100; При этом проходной балл у людей на этом экзамене — 60, так что все топовые модели вполне себе претендуют на звание раввина. Бенчмарки, которые мы заслужили.
1 138 просмотров
Канал в каталоге Максиметера
1 130 подписчиков · IT и технологии