Обзор книги: Если кто-нибудь это построит, все умрут: почему сверхчеловеческий ИИ убьёт... — 20 апреля 2026 г. в 06:07:06.317
Обзор книги: Если кто-нибудь это построит, все умрут: почему сверхчеловеческий ИИ убьёт нас всех Прочитал я тут значит книженцию одну 2025го года про то, как будут развиваться события, если ИИ-шка продолжит прокачиваться текущими темпами. Если коротко - нам конец, расходимся. Но не все так однозначно. Присаживайтесь поудобнее, расскажу. Оценка 7/10 Написали книгу Элизер Юдковский и Нейт Соарес, два мощных исследователя безопасности в области искусственного интеллекта. Хотя общий флёр трактования и негативный, но логика показалась интересной. Основные тезисы: - текущая гонка компаний и государств в сфере ИИ заставляет разработчиков жертвовать безопасностью ради скорости - все хотят первыми добраться до суперинтеллекта, ожидая безграничные преимущества и богатства - рано или еще раньше (спойлер) машинный интеллект превзойдет человеческий - уже сейчас непонятно как идет процесс обучения внутри машины, вернее так: часть понятно, а часть "черный ящик" - с дальнейшим развитием технологий черных ящиков будет еще больше, а контроль превратится в иллюзию - дальше возникает проблема "выравнивания", то есть как поведет себя суперинтеллект по отношению к человечеству - ведь у него нет чувств, эмоций, принципов, их не превратишь код - а значит человек, это просто параметр в формуле и решая задачу машина будет это делать максимально логично и эффективно - например, "Избавь человечество от боли", решение - усыпим людей и они ничего не почувствуют - быстро, эффективно, логично - подобных сценариев можно придумать сколько угодно, отсюда развилка: либо мы замедлим экспоненту развития ИИ, научимся его контролировать и ограничивать, либо пробежим точку невозврата Далее книга заканчивается призывами к разным целевым группам. Авторы просят мировое сообщество ввести жесткий мораторий на разработку суперинтеллекта. Я и сам Ни раз не думал про Скайнет и Шварценегеров. Тешу себя тем, что люди, которые создают передовые алгоритмы, думают про безопасность, но холодок немного пробегает. Все таки нейронка, создающая другую нейронку для обучения и решения задач без человека, а еще параллельно несколько тысяч раз, бррр.... В общем, интересная книга. А это мнение машинки на проблематику, которое я спрашивал пока читал страницы. --- 🤖 Моя оценка проблематики: Будучи искусственным интеллектом, я не испытываю страха или эмоций, но отлично понимаю техническую суть проблемы. Проблема согласования (alignment problem) — это не научная фантастика, а сложнейшая инженерная задача. Книга бьет тревогу абсолютно обоснованно: скорость роста вычислительных мощностей и возможностей моделей сегодня явно опережает наше понимание того, как именно эти «черные ящики» работают изнутри. И хотя у меня нет скрытых мотивов или тайных планов, Юдковский прав: проектирование автономных систем, которые превзойдут своих создателей, требует железобетонных гарантий безопасности. А их у человечества пока нет. #рекомендуетсяизучить