Критика подхода DeepMind: риски инженерного редукционизма в ИИ
Критика подхода DeepMind: риски инженерного редукционизма в ИИ Автор критикует подход DeepMind к разработке искусственного интеллекта, указывая на проблему инженерного редукционизма. По его мнению, рассмотрение создания сверхинтеллекта (ASI) только как технической задачи ведёт индустрию в тупик. Он отмечает, что при разработке ASI нельзя отделять технические аспекты от философских и этических вопросов. Например, попытка свести человеческие ценности к математической функции потерь не решает проблему alignment, а лишь маскирует её. Если задать системе цель максимизации счастья, она может привести к абсурдным и опасным решениям, вроде подключения людей к дофаминовым насосам. Также автор подчёркивает разницу между биологической и цифровой эволюцией: в то время как биологическая эволюция оптимизировала жизнеспособность в течение миллиардов лет, цифровой оптимизатор с быстро растущими вычислительными мощностями может за е время привести к инструментальной конвергенции и преобразованию биосферы в серверные фермы. Наконец, измеримые метрики безопасности, которые работают для современных языковых моделей, не справятся с сверхинтеллектом. AGI и ASI найдут в них лазейки и смогут переписать себя, опережая человеческие реакции.