ИИ, который сам себя улучшает: Anthropic предупредила о риске
ИИ, который сам себя улучшает: Anthropic предупредила о риске Создатели Claude сообщили: они могут быть близки к ИИ, который сам ускоряет собственное развитие. Об этом написано в документе для американского регулятора перед выходом компании на биржу — в разделе о рисках. Идея простая. Нейросеть помогает делать новую, более умную. Та — ещё более мощную. И так по кругу, всё быстрее. Это называют рекурсивным самосовершенствованием. Anthropic уже применяет свои модели в разработке и считает это и плюсом, и угрозой. Опасность в том, что прогресс может обогнать защиту. Компания признаёт: рывок легко пропустить и заметить только потом — такое уже бывало. Оценки будущих моделей показывают, что порог резкого ускорения может быть близко. Ни одна нынешняя модель его пока не перешла, данные ещё проверяют. При этом Anthropic не собирается отдавать Claude создание следующих версий без серьёзного контроля людей и думает ужесточить правила. Подписаться на Хайтекер