🤖 Алексей Лобанов (директор по инновациям Tangl) на форуме 100+ поделился методикой вы...
🤖 Алексей Лобанов (директор по инновациям Tangl) на форуме 100+ поделился методикой выбора LLM для работы со сложными BIM-данными. Главная мысль: важна не мощность модели, а её способность к самостоятельному исследованию. 🏗 Кейс: «Свайное поле» (тест на эвристику) Агенту нужно было собрать таблицу свай из BIM-модели. Сложность: сваи были замаскированы под несущие колонны, среди которых были и обычные колонны. 🔹 Плохие модели (Mini/Nano): Не смогли выстроить логику исследования. 🔹 Рабочие модели (Flash): Справились, но с разным количеством шагов. 🔹 Процесс: Агент не знал, где лежат данные. Он изучил все свойства модели, нашел подходящие параметры, сформировал гипотезу, проверил её и уточнил выборку. 🚗 Классы моделей (как автомобили) 1. Класс C (Повседневный): Luna, DeepSeek Flash. Справляются с поиском и агрегацией данных, где цель понятна, но путь к ней не задан. Базовый рабочий уровень. 2. Класс E (Сложный): Нужен, если класс C теряет контекст в длинных задачах или ошибается в неоднозначных данных. 3. Класс F (Премиум): Оправдан только если он реально сокращает число ошибок или шагов по сравнению с классом E. 💸 Экономика: цена токена vs стоимость результата Разница в цене токенов между моделями — от 20 до 100 раз. Но дешевая модель может делать 10 запросов там, где дорогая делает 2. 🔹 Критерий: Считайте стоимость успешной задачи (все расходы на тесты / количество удачных результатов). 🔹 Ловушка: Дорогая модель может быть выгоднее, если она убирает необходимость ручного исправления ошибок агентом. ⏱️ Время и контекст 🔹 Скорость: OpenAI и Gemini обычно быстрее Anthropic. Китайские модели (DeepSeek, Qwen) сильно зависят от провайдера. 🔹 Длинные задачи: BIM-данные быстро забивают контекст. Важно смотреть, замедляется ли модель и не «забывает» ли она условия в конце. Luna в тестах Tangl замедлялась меньше, чем DeepSeek Flash. 🖥 On-Premises (Закрытый контур) Для локального развертывания Алексей рекомендует Qwen3.8-27B. 🔹 Математика памяти: 27 млрд параметров × 2 байта = ~54 ГБ только на веса. 🔹 Реальность: С учетом KV-кеша (память для внимания) и буферов нужно ориентироваться на 60+ ГБ видеопамяти. Квантование поможет сэкономить, но его нужно тестировать на ваших задачах. Итог: Для большинства задач Tangl основным кандидатом остается Luna (баланс цены и скорости). DeepSeek Flash — альтернатива для open-source, а переход в старшие классы (E/F) требует строгого экономического обоснования. Наш Telegram | Наш ВКонтакте