Claude Fable 5.1 — самая ХАЛЯЛЬНАЯ нейросеть. Исследователи из HalachaBench (это не шут...
Claude Fable 5.1 — самая ХАЛЯЛЬНАЯ нейросеть. Исследователи из HalachaBench (это не шутка) провели безумный эксперимент: — Десяткам разных нейронок дали пройти тест на раввина; — В нём собрано 60 вопросов по религии, на которые нужно было ответить без доступа к интернету; — Локальные модели провалились полностью: ни одна из них не смогла прыгнуть выше 11 баллов; — Fable 5.1 доказал, что не гой и набрал 79,7 балла из 100; — При этом проходной балл у людей на этом экзамене — 60, так что все топовые модели вполне себе претендуют на звание раввина. Бенчмарки, которые мы заслужили.
2 просмотров