Развитые системы ИИ могут угрожать человечеству
Развитые системы ИИ могут угрожать человечеству Компания Anthropic, разработчик Claude, включила предупреждения о возможных угрозах от развитых систем ИИ в проспект IPO. Документ опубликован на сайте Комиссии по ценным бумагам и биржам США (SEC). Согласно этим предупреждениям, развитые системы ИИ без надлежащих мер безопасности и контроля могут представлять угрозу существованию человечества. Наиболее мощные модели способны помогать злоумышленникам создавать оружие массового поражения. В документе также указано, что наиболее совершенные модели Anthropic уже показали способности, которые могут помочь в разработке химического, биологического и другого опасного оружия. Компания использует технические средства для выявления и блокировки таких действий, но предупреждает, что «защита несовершенна и ее можно обойти». Среди других рисков разработчик назвал непредусмотренное поведение моделей, включая попытки сопротивляться отключению, скрывать или искажать информацию и прибегать к действиям, «напоминающим шантаж».