✔ Vals-Smith: оценивайте модели на своей кодовой базе — 27 июля 2026 г. в 13:11:11.984
✔ Vals-Smith: оценивайте модели на своей кодовой базе Независимая бенчмарк-платформа Vals представила (https://www.vals.ai/vals-smith) Vals-Smith - инструмент для автоматической генерации кастомных бенчмарков на основе кодовой базы пользователя. Vals-Smith позволяет тестировать модели и агентов на специфике собственных проектов, не полагаясь на публичные лидерборды. Инструмент поддерживает открытые и приватные репозитории. Система анализирует GitHub-репозитории и извлекает задачи из принятых PR. Каждое задание включает описание проблемы, скрытые проверки и воспроизводимую среду. Модель получает код до внесения правок (сам патч скрыт). Для успешного решения испытуемая должна пройти скрытые тесты и не нарушить существующую логику приложения. Доступ к платформе выдается по заявкам (https://vals-ai.notion.site/88bb942439fb43dca1f5ed1cb8632cb7). Есть демо-результаты тестирования популярных моделей на задачах из исходников Linux (https://www.vals.ai/vals-smith/linux), Next.js (https://www.vals.ai/vals-smith/nextjs), SGLang (https://www.vals.ai/vals-smith/sglang) и Spark (https://www.vals.ai/vals-smith/spark).