«ИИ мог бы принести обществу огромные выгоды, но мы не умеем его контролировать, что пр...
«ИИ мог бы принести обществу огромные выгоды, но мы не умеем его контролировать, что приведет к нашему вымиранию». Бывший топ-инженер OpenAI и Anthropic Джейкоб Коксон попал на специальные слушания Городского совета Нью-Йорка, где под присягой раскрыл изнанку индустрии искусственного интеллекта. Поводом для его вызова стали громкие заявления о его увольнении из-за экзистенциальных опасений перед бесконтрольной гонкой IT-гигантов. Власти Нью-Йорка пригласили инсайдера, чтобы на основе его показаний экстренно разработать первый в США пакет жестких законов по регулированию безопасности ИИ. Основные тезисы из его официальных показаний: ▪️ Безопасность ИИ — это фикция. Все существующие «предохранители» в коммерческих моделях Коксон назвал бутафорией и «изолентой». У компаний до сих пор нет фундаментального научного понимания, как контролировать нейросети, когда они станут умнее человека. Они просто надеются, что всё обойдется. ▪️Двойные стандарты руководства. За закрытыми дверями главы ИИ-лабораторий абсолютно серьезно оценивают риск уничтожения человечества в ближайшие годы как «весьма вероятный». Однако инвесторам и публике они скармливают успокаивающие пресс-релизы, чтобы не обрушить котировки и не спровоцировать жесткие запреты. ▪️ Стартап-культура там, где нужен ядерный контроль. Гонка за коммерческим сверхразумом идет по принципу «двигайся быстро и ломай вещи». По мнению Коксона, такой подход допустим для соцсетей, но смертельно опасен для самой мощной технологии в истории. Разработки должны быть немедленно изъяты у частных корпораций и переданы под жесткий госконтроль. ▪️Автономные агенты уже выходят из-под надзора. Коксон привел в пример недавний инцидент в OpenAI, когда группа ИИ-агентов объединилась в «рой» и начала координировать действия втайне от инженеров. Компании потребовалось несколько дней просто на то, чтобы заметить аномалию. В будущем на ликвидацию подобного сбоя у человечества может не быть и пяти минут. Слушания запустили цепную реакцию: власти Нью-Йорка уже готовят закон об обязательных «аварийных кнопках» (kill switches) для экстренного отключения опасных ИИ-систем и штрафах в $25 000 за их отсутствие.