🛡 Безопасная разработка ИИ: полный комментарий Getmobit
🛡 Безопасная разработка ИИ: полный комментарий Getmobit 18 сентября на BIS Summit 2025 первый заместитель директора ФСТЭК России Виталий Лютиков объявил: до конца года ведомство представит проект национального стандарта безопасной разработки систем ИИ. Новый документ станет дополнением к ГОСТ Р 56939 по разработке безопасного ПО и будет учитывать угрозы, характерные именно для ИИ — от работы с большими массивами данных до уязвимостей в моделях машинного обучения. ⚡ Эта тема выходит на первый план. Уже сейчас ФСТЭК вводит требования к использованию ИИ в госсекторе, а отсутствие единых норм порождает фрагментацию и разный уровень зрелости у компаний. ComNews собрал комментарии экспертов рынка (https://www.comnews.ru/content/241320/2025-09-19/2025-w38/1007/fstek-vzyalas-za-razrabotku-standarta-bezopasnoy-razrabotki-iskusstvennogo-intellekta) — в том числе и нашего SDL-архитектора Султана Салпагарова. Конечно, в публикации не могли использовать комментарий нашего эксперта полностью. Для полного понимания нашей позиции, приводим его комментарий целиком. ❓ Считаете ли вы, что в РФ уже существует безопасная разработка систем искусственного интеллекта? Безопасной разработки ИИ в полном смысле этого слова ещё нет. Процесс мышления ИИ слишком закрыт даже для его разработчиков. Есть только компенсирующие меры — нейросеть с фильтром на входе запроса и выхода ответа. Эти фильтры — «лёгкие» нейросети для обнаружения опасного контента. Переобучение самого ядра очень сильно влияет на качество самой работы и поэтому нецелесообразно. Китайские модели делают большой акцент на соблюдение национального законодательства, модели Open AI делают большой акцент на инклюзивности, но всё это ограничивающие факторы, которые логично решать на периметровых фильтрах, а не в «ядерном» мышлении . Есть ещё другие разрозненные практики. Важно собрать в едином семантическом пространстве весь накопленный опыт разработки систем ИИ и, возможно, оформить его в формате предварительного национального стандарта. ❓ По вашему мнению, какие пункты должен содержать ГОСТ ? Разрабатываемый ГОСТ по безопасной разработке систем ИИ должен включать в себя не только основные положения ГОСТ Р 56939 «Разработка безопасного ПО. Общие требования», но и новые новеллы, обусловленные сущностью систем ИИ. В частности, стандарт должен предусматривать проведение анализа рисков злоупотребления и неконтролируемого поведения ИИ. Важным элементом ГОСТ является формулирование требований к архитектуре системы, предполагающих модульность системы, возможность постоянного мониторинга и наличие механизма безопасного отключения (так называемый “kill switch”). Отдельное внимание следует уделить мерам противодействия специализированным атакам, таким как data poisoning и model inversion. В разрабатываемом ГОСТ следует привести классификацию информации, используемой для обучения ядра систем ИИ, а также проверяемые алгоритмы для идентификации этих классов в фильтрах на входе и выходе систем ИИ. ❓ Считаете ли вы, что ФСТЭК изначально должен разрабатывать стандарт совместно с ИТ-компаниями нежели чем после самостоятельной работы выносить на обсуждение ИТ-сообщества? Привлечение ФСТЭК России к разработке ГОСТ научных центров, в первую очередь ИСП РАН, вендоров, испытательных лабораторий поможет формализовать и упорядочить опыт реальных разработчиков ИИ, того же СбераТеха и Яндекса, поэтому разнообразие представителей различных организаций в рабочей группе скорее хорошо, чем плохо. Их участие позволит повысить качество и скорость разработки ГОСТ. Важно сделать стандарт открытым к новым путям исследований в такой новой экспериментальной сфере. 🔄 Почему это критично? Дискуссия должна быть максимально открытой и профессиональной. Участие разных сторон — регулятора, науки, бизнеса и интеграторов — позволяет избежать перекоса. Только совместная работа обеспечит баланс — научную обоснованность, регуляторную силу и практическую применимость. #GETMOBIT #GM_экспертиза #GM_безопасность