Pegasus 1.6: как видео от первого лица улучшает обучение роботов
Pegasus 1.6: как видео от первого лица улучшает обучение роботов Pegasus 1.6 — новая модель компании TwelveLabs, предназначенная для обработки видеоданных от первого лица. Такие записи с камер на голове или корпусе робота дают системе контекст о действиях и пространстве, но их сложно размечать и использовать для тренировки нейросетей. Модель автоматически извлекает из потока видео значимые события: перемещение объекта, захват, поворот корпуса, изменение сцены. Это превращает сырые записи в структурированные обучающие наборы данных. В отличие от обычных видеомоделей, Pegasus 1.6 учитывает особенности съёмки от первого лица: дрожание камеры, частичное перекрытие обзора руками, неравномерное освещение и быстрые смены ракурса. Модель выделяет не только действие, но и его результат, а также пространственные отношения между роботом и окружающими предметами. Для инженеров это значит, что процесс подготовки данных перестаёт быть ручным: разметка ускоряется, а роботы получают больше качественных примеров для обучения. Разработка важна для направления embodied AI — систем искусственного интеллекта, которые действуют в физическом мире. Сейчас узкое место таких проектов не столько в алгоритмах, сколько в данных. Видео от первого лица доступно в большом объёме, но без автоматической обработки оно почти бесполезно. Pegasus 1.6 решает именно эту задачу: делает записи от первого лица пригодными для тренировки моделей управления роботами. Пока модель ориентирована на исследовательские и инженерные команды, работающие над робототехникой и автономными системами. В перспективе подобные инструменты могут стать стандартным звеном в цепочке обучения роботов — от симуляции до реальной эксплуатации. Главное: • Pegasus 1.6 автоматически размечает видео от первого лица для обучения роботов • Модель учитывает дрожание камеры, перекрытие обзора и быстрые смены ракурса • Инструмент сокращает ручную подготовку данных в робототехнике • Разработка относится к направлению embodied AI — системам, действующим в физическом мире #ИИ #Робототехника #Видеоаналитика #EmbodiedAI