Claude Fable 5.1 стала самой кошерной нейросетью — набрала 79,7 балла из 100 на Halacha...
Claude Fable 5.1 стала самой кошерной нейросетью — набрала 79,7 балла из 100 на HalachaBench 22 модели проверили на 60 реальных вопросах экзаменов Главного раввината Израиля по пяти разделам еврейского права. Интернетом и справочниками пользоваться было нельзя, проходной балл — 60. Шесть облачных моделей сдали экзамен, который непросто даётся даже подготовленным людям. Локальные провалились: ни одна не набрала даже 11 баллов. Бенчмарки уровня /b/
3 685 просмотров