🤖Защита и независимый аудит искусственного интеллекта в новых реалиях от NIST — 31 июля 2026 г. в 05:40:11.449
🤖Защита и независимый аудит искусственного интеллекта в новых реалиях от NIST Национальный институт стандартов и технологий США запустил программу AI Technology Evaluation (AITE) для объективного тестирования ИИ-моделей в изолированной среде. Модели проверяются на закрытых данных, которые не раскрываются участникам. Это снижает риск попадания тестовых наборов в обучающие выборки и позволяет получать более достоверные и сопоставимые результаты. NIST выступает нейтральной третьей стороной и использует единые тестовые данные, метрики и процедуры подсчёта результатов. Период оценки должен начаться в августе 2026 года. Программа предусматривает два направления участия. Поставщики данных передают оригинальные закрытые наборы и определяют содержательные задачи для их обработки. Поставщики моделей предоставляют ИИ-модели, которые NIST тестирует на одинаковых данных и по одинаковым метрикам. Такой подход позволяет сопоставлять результаты различных систем, не раскрывая тестовые материалы и не допуская их использования для обучения моделей. На начальном этапе AITE включает три теста. Они охватывают управление квантовыми точками, курирование вариантов генома человека и распознавание визуальных событий в сфере общественной безопасности. Все три стартовых теста связаны с анализом изображений при помощи больших визуально-языковых моделей. В дальнейшем NIST планирует добавлять новые задачи, наборы данных, области применения и модальности. Дорожная карта состоит из четырёх этапов. Они предусматривают постепенное увеличение числа тестов и моделей, расширение перечня задач и развитие методов оценки. Точные масштабы и сроки каждого этапа будут зависеть от пропускной способности программы и уровня участия внешних организаций. NIST также намерен публиковать и периодически обновлять таблицу результатов, сводные отчёты и графики производительности. Для каждой модели должны указываться использованный набор данных, задача, метрика, полученный результат и показатели неопределённости. ✋ @Russian_OSINT