Эмерджентное планирование в языковых моделях: что скрыто в «мозгах» ИИ
Эмерджентное планирование в языковых моделях: что скрыто в «мозгах» ИИ Илья Суцкевер, сооснователь OpenAI, считает, что большие языковые модели способны выявлять глубокие закономерности, а не просто копировать шаблоны. По его мнению, достаточно «умная» модель может смоделировать поведение идеального человека, что приближает нас к AGI. Исследователи из Шанхайской ИИ-лаборатории обнаружили феномен «эмерджентного планирования»: скрытые слои модели содержат информацию о параметрах будущего ответа. Они использовали простые нейронные сети для анализа скрытых слоёв и выяснили, что можно с высокой точностью предсказать структурные и смысловые характеристики ответа, а также поведенческие атрибуты, например, уверенность в правильности ответа. Это открытие позволяет не только глубже понять работу ИИ, но и улучшить контроль за генерацией текста: например, настроить модель на создание ответов определённой длины или структуры, а также разработать механизмы раннего обнаружения нежелательных ответов.