Языковые модели не могут выбирать из распределений, которые они описывают
Языковые модели не могут выбирать из распределений, которые они описывают Исследование показало, что языковые модели не могут выбирать из распределений ответов, а выдают один и тот же ответ на один и тот же вопрос. Это связано с инструкционным дообучением, которое ухудшает качество моделей. Однако модели могут точно описывать распределения ответов, что позволяет использовать их для улучшения точности данных опросов. 🔗 https://arxiv.org/abs/2607.25292