Промпт-инъекции проверят мораль отечественных языковых моделей перед тендерами
Промпт-инъекции проверят мораль отечественных языковых моделей перед тендерами Российские языковые модели готовятся сдавать экзамен на знание законов. Правительство и бизнес договорились запустить сеть независимых лабораторий, чтобы проверять алгоритмы на соответствие традиционным ценностям. Разработчики логично захотели избежать монополии одного проверяющего. Аккредитованные центры будут легально взламывать системы промпт-инъекциями и тестировать встроенные фильтры безопасности. Обязательная проверка всем представленным на рынке алгоритмам не грозит. Сертификат нужен исключительно, чтобы получить статус «суверенной» или «национальной» модели. Статус открывает доступ к крупным госконтрактам и базам данных госструктур. Компании смогут сами выбирать коммерческую лабораторию для аудита, а финальное решение вынесут профильные ведомства. Системы также пройдут дополнительную экспертизу по линии инфраструктурной безопасности. Перевести абстрактные моральные категории в технические задания сложно, а критерии оценки рискуют стать субъективными. При этом компаниям предстоит раскрывать архитектуру фильтров, а аудиторы будут целенаправленно пытаться обойти защиту моделей провокационными запросами #нейросети #госзакупки #регулирование @SecLabNews https://t.me/SecICP/9857