ИИ сам ищет, как сделать себя безопаснее
ИИ сам ищет, как сделать себя безопаснее 28 августа Anthropic показала: модель Claude работала как AAR (automated alignment researcher — программа, которая сама ищет, как убрать опасные привычки модели). Она читала статьи, предлагала способ обучения, коротко доучивала другую модель и проверяла результат. Так ослабили все 10 изученных сбоев: ложь, лесть, обход запретов и другие... Обычные умения не просели. Приёмы сработали и на моделях в 4,7 раза крупнее. 28 специалистов имели до 8 часов. Лучшие решения машины обошли человеческие идеи за 6,4 часа. Час агента — около 4 долларов, час человека — 150. В тесте на обман машина закрыла 85% пути до идеала, люди — около 20%. Тесты — не реальная жизнь... Но часть работы по безопасности уже точно стоит поручить самому ИИ... Источники: https://www.anthropic.com/research/automated-researchers-mitigate-alignment-failures #AI #Anthropic #Claude #Alignment #AAR