GazeReward: как данные о взгляде улучшают работу языковых моделей
GazeReward: как данные о взгляде улучшают работу языковых моделей Существует фреймворк GazeReward, который помогает улучшить работу больших языковых моделей (LLM). Он интегрирует данные об отслеживании взгляда (eye-tracking, ET) в модель вознаграждения (RM). Сейчас LLM вроде GPT, Llama, Claude и Gemini хорошо решают разные задачи, но их результаты не всегда соответствуют ожиданиям пользователей. Метод Reinforcement Learning with Human Feedback (RLHF) тоже не всегда точно моделирует предпочтения людей. GazeReward предлагает учитывать данные о движении и фиксации глаз, чтобы лучше понимать, как пользователи воспринимают информацию. Авторы предлагают два подхода для интеграции ET в RM: GazeConcat (конкатенировать ET с текстовыми эмбеддингами) и GazeAdd (добавить ET к текстовым эмбеддингам). Сначала обучают модель для предсказания ET, затем объединяют ET-данные с текстом и передают в RM, которую обучают по модели Брэдли-Терри. Эксперименты показали, что GazeReward повысил точность прогнозов о предпочтениях людей более чем на 10%. Это подтверждает потенциал мультимодальных сигналов для обработки естественного языка (NLP). Ссылки из исходного поста: статью | Душный NLP Материалы по ссылкам: 1. Seeing Eye to AI: Human Alignment via Gaze-Based Response Rewards for Large Language Models Что в статье: В статье представлен фреймворк GazeReward, который интегрирует данные отслеживания взгляда в модель вознаграждения для больших языковых моделей. Метод позволяет улучшить точность модели вознаграждения на основе установленных наборов данных человеческих предпочтений. Для тестирования фреймворка использовались различные методы интеграции, большие языковые модели и модели-генераторы данных отслеживания взгляда. Исследование способствует оптимизации согласования ИИ с человеческими ценностями и исследует потенциал когнитивных данных для будущих исследований в области обработки естественного языка. Источник материала: ссылка 2. Душный NLP Что в статье: Канал «Душный NLP» содержит разборы свежих статей от NLP-специалистов Яндекса. Публикации подробные и полезные. Количество подписчиков — 6 411. Источник материала: ссылка Источник: оригинальный пост