❗️Развитые системы ИИ без надлежащих мер безопасности и контроля могут представлять угр...
❗️Развитые системы ИИ без надлежащих мер безопасности и контроля могут представлять угрозу существованию человечества, а наиболее мощные модели — помогать злоумышленникам создавать оружие массового поражения. Такие предупреждения компания Anthropic, разработчик Claude, включила в проспект IPO, опубликованный на сайте Комиссии по ценным бумагам и биржам США (SEC). В документе говорится, что наиболее совершенные модели Anthropic уже продемонстрировали способности, которые могут помочь злоумышленникам в разработке химического, биологического и другого опасного оружия. Компания применяет технические средства для выявления и блокировки таких действий, но предупреждает, что «защита несовершенна и ее можно обойти». Среди других рисков разработчик назвал непредусмотренное поведение моделей, включая попытки сопротивляться отключению, скрывать или искажать информацию и прибегать к действиям, «напоминающим шантаж».