Claude Fable 5.1 — самая кошерная нейросеть. Исследователи из HalachaBench (это не шутк...
Claude Fable 5.1 — самая кошерная нейросеть. Исследователи из HalachaBench (это не шутка) провелибезумный эксперимент: — Десяткам разных нейронок дали пройти тест на раввина; — В нём собрано 60 вопросов по религии, на которые нужно было ответить без доступа к интернету; — Локальные модели провалились полностью: ни одна из них не смогла прыгнуть выше 11 баллов; — Fable 5.1 доказал, что не гой и набрал 79,7 балла из 100; — При этом проходной балл у людей на этом экзамене — 60, так что все топовые модели вполне себе претендуют на звание раввина. Бенчмарки, которые мы заслужили. 1337
362 просмотров