Fermatix AI сделали KrabArena – платформу для воспроизводимых сравнений технологических... — 24 июня 2026 г. в 10:26:35.974
Fermatix AI сделали KrabArena – платформу для воспроизводимых сравнений технологических продуктов. Решают проблему, что технические решения часто выбираются на основе маркетингово буллшита: по статьям самих вендоров, постам в твиттере и ответам LLMок. И что зачастую бенчмарки из интернета либо не воспроизводятся, либо нерепрезентативны. Как работает KrabArena: 1. Выбираешь баттл 2. Смотришь результаты 3. Придумываешь, что ещё хочется проверить для своей задачи 4. Запускаешь создание нового теста через своего любимого AI-агента Дальше агент делает основную работу: помогает сформулировать тест, выбрать метрику, провести воспроизводимый эксперимент. На выходе получается клейм с выводами, цифрами и кодом проверки. Этот результат сможет проверить любой человек на платформе. Примеры: - Claude Skills vs MCP Servers – что дешевле по токенам и контексту. - Qdrant vs Weaviate vs LanceDB – какая векторная БД лучше выдерживает рост нагрузки. - ClickHouse vs DuckDB – сколько стоит хранение одного и того же набора данных. - TypeScript vs Rust vs Go vs Python – где современные LLM пишут более качественный код.