Встроенные оценщики ИИ: сложности и необходимость стандартизации
Встроенные оценщики ИИ: сложности и необходимость стандартизации Оценка моделей ИИ традиционно считается нейтральным способом сравнения продуктов, но методы пока сложны и находятся в стадии развития, как отметила Ирен Солайман, глава по политике Hugging Face, на TechCrunch Disrupt. По её словам, доверие к результатам зависит от возможности их воспроизвести и доступа к самим моделям, что делает открытые веса важным фактором. В индустрии продолжаются споры о воспроизводимости и сопоставимости разных тестов. Солайман подчеркнула, что текущие оценки быстро теряют эффективность и отсутствует достаточная экосистема. Популярность идеи встроенных оценщиков — нейтральных сторонних наблюдателей внутри компаний — растёт на фоне инцидентов с безопасностью, однако их нейтральность и компетентность вызывают сомнения, как показал пример привлечения Accenture в Anthropic. По мнению Солайман, оценка… Источник: https://techcrunch.com/2026/10/19/embedded-ai-evaluators-wont-be-an-easy-solution-hugging-faces-policy-chief-says/