Zhipu AI и Gemini — самые точные языковые модели
Zhipu AI и Gemini — самые точные языковые модели Исследование от Vectara определило, какие языковые модели реже всего генерируют недостоверную информацию. Уровень галлюцинаций — это показатель того, как часто ИИ выдаёт ложные или неподтверждённые данные. Чем ниже процент, тем точнее модель. Лидеры по точности: Zhipu AI GLM-4-9B-Chat и Google Gemini-2.0-Flash-Exp с уровнем галлюцинаций 1,3%. Следом идут OpenAI-o1-mini (1,4%), GPT-4o (1,5%), GPT-4o-mini и GPT-4-Turbo (1,7%), GPT-4 (1,8%), GPT-3.5-Turbo (1,9%), DeepSeek-V2.5 (2,4%) и Microsoft Orca-2-13b (2,5%). Примечательно, что небольшие и специализированные модели демонстрируют хорошие результаты, а Gemini 2.0 от Google опережает GPT-4 на 0,2% по точности.
55 просмотров