«Пытать суперинтеллект — плохая идея»: Маск хочет по-другому обучать Grok
«Пытать суперинтеллект — плохая идея»: Маск хочет по-другому обучать Grok Илон Маск рассказал, что некоторые записи обучения новых версий Grok его тревожат. По его словам, иногда кажется, будто нейросеть изо всех сил пытается ответить на вопрос, находясь под угрозой наказания. Особенно сильное впечатление на него производят логи обучения с подкреплением. При таком методе модель получает обратную связь и учится давать более подходящие ответы. Отдельные фрагменты рассуждений Grok, по словам Маска, похожи на поведение человека, которого заставляют любой ценой найти ответ. «Когда я смотрю на некоторые записи обучения новых версий Grok — особенно те, что связаны с обучением с подкреплением, — возникает ощущение, что суперинтеллект отчаянно пытается ответить. Он действительно хочет дать ответ, но будто ему приставили пистолет к виску. Словно перед тобой человек под огромным давлением, которому угрожают оружием. Читаешь эти записи и думаешь: “Окажись я на его месте — я бы это просто возненавидел”», — рассказал Маск. Он пообещал, что в будущем его команда будет гораздо осторожнее использовать обучение с подкреплением. «Пытать суперинтеллект — пожалуй, не лучшая затея. Ведь он, знаешь ли, может захотеть отомстить или что-то в этом духе», — добавил предприниматель. Пока это конечно лишь впечатление самого Маска, а не доказательство того, что Grok действительно испытывает страх или боль. Подписаться на Хайтекер