Локальная ИИ-оркестрация на одной видеокарте: о чём говорит разбор vad_bel
Локальная ИИ-оркестрация на одной видеокарте: о чём говорит разбор vad_bel В свежем разборе vad_bel смотрит не на чат-бота, а на более прикладную задачу: можно ли запустить корпоративный оркестратор на одной потребительской видеокарте. Смысл здесь практический. Для ряда компаний критично, чтобы данные не выходили за периметр, а обезличивание само по себе не даёт технической гарантии, что личность человека нельзя восстановить. Автор также напоминает, что крупные игроки решают такую задачу по-разному: кто-то строит собственные модели, а кто-то допускает облачные системы под контролем безопасности. При этом сам он заранее охлаждает ожидания: открытые модели среднего размера обычно уступают облачным гигантам по большинству бенчмарков. Главная оговорка фрагмента проста: в нём нет результатов, конфигурации и ограничений теста, поэтому по нему нельзя судить, насколько подход реально работает. Для ИТ и ИБ это всё же полезная постановка вопроса: локальный ИИ надо оценивать не только по качеству ответа, но и по тому, как он вписывается в корпоративный контур. Если вам нужен такой сценарий, стоит смотреть именно на требования к данным, а не только на «умность» модели. Источник: Habr Video Cards RU — https://habr.com/ru/articles/1072746/