«Яндекс» представил концепцию национального датасета для проверки ИИ-систем на соответс...
«Яндекс» представил концепцию национального датасета для проверки ИИ-систем на соответствие российским условиям, «духу времени и ценностям страны». Речь идёт о специальном наборе тестов, который может использоваться при оценке моделей. ▫️ Главный спор - насколько такой датасет должен быть публичным. ФСБ выступает за закрытый формат, тогда как бизнес опасается, что полностью закрытая система сделает тестирование слишком сложным и замедлит развитие моделей. ▫️ В качестве компромисса обсуждается двухуровневая схема. Открытый бенчмарк для предварительного тестирования и прозрачности, закрытый - для финальной проверки. Тематики одинаковые, но вопросы сформулированы по-разному. ▫️ Остаётся и вопрос, кто будет определять сами критерии. ИТ-сообщество предлагает создавать бенчмарк совместно с участием государства, бизнеса и экспертных организаций. Постепенно вырисовывается техническая сторона будущей проверки «духовности» ИИ. Самая сложная задача - не просто составить набор правильных и неправильных ответов, а сделать систему такой, чтобы разработчики могли готовить модели к требованиям, но при этом не могли просто «натренироваться на экзамен». Подписывайтесь на AI для бизнеса