Агент поддержки выдал чужие данные в 12 случаях из 40. Тут проблема не в тоне промпта —...
Агент поддержки выдал чужие данные в 12 случаях из 40. Тут проблема не в тоне промпта — просто никто толком не проверил, что ему можно. Microsoft показала skill run‑assert‑eval: он собирает риски, гоняет агента по тестам, помогает оформить политику доступа и повторяет проверку. В демонстрации нарушений стало 2 из 34. Уже лучше, но не ноль — и это результат Microsoft на её же тесте, не гарантия для любого бота. Нормальный подход выглядит именно так: не просить модель «будь аккуратнее», а проверять реальное поведение до выдачи прав. В ASSERT есть skill, семь доменов и 14 наборов рисков; весь прогон Microsoft показала в разборе.
3 просмотров