A

Aii:ИИИ

IT и технологии · 5 ноября 2026 г.

Открыть канал в MAX

Бенчмарк SAB: ИИ-аналитик хорошо ищет факты, но не угадывает рост стартапов

Бенчмарк SAB: ИИ-аналитик хорошо ищет факты, но не угадывает рост стартапов Венчурный фонд Mento.vc выпустил SAB — бенчмарк для ИИ-агентов, которые исследуют стартапы. В нём 14 моделей, 960 исследовательских задач и 101 набор компаний для ранжирования. В поиске фактов лидирует Claude Opus 5.5 с 97,2 балла из 100. Но все модели выдумывали значения для 9–33% фактов, которые организаторы специально убрали из документов. С прогнозом хуже: ни одна из 13 моделей не обошла простое правило «выше рост штата — выше в списке». Модели систематически ставили наверх крупные компании. Вывод фонда: агентам — сбор данных, людям — инвестиционные решения. Источники: https://mento.vc/sab-bench #AI #Венчур #Бенчмарк #Агенты #LLM