Skild AI использует NVIDIA Physical AI для обучения роботов новым задачам по одному видео
Skild AI использует NVIDIA Physical AI для обучения роботов новым задачам по одному видео 📝 Суть Skild AI выпустила новую модель робота S1, которая позволяет обучать роботов новым задачам, демонстрируя их один раз на видео. Модель использует подход «обучения в контексте» (in-context learning) для понимания и выполнения задач без переобучения. Это значительно ускоряет адаптацию роботов к меняющимся условиям производства и новым продуктам. 🔢 Факты • Skild AI представила новую модель робота S1, которая позволяет обучать роботов новым, ранее неизвестным задачам, используя только одну видеодемонстрацию. • Модель S1 использует видео как входные данные для понимания и выполнения задач, не обновляя веса и без специальной постобработки, что называется обучением в контексте. • Skild AI провела исследования и разработку модели S1 на инфраструктуре NVIDIA AI, включая генерацию синтетических данных, обучение моделей, симуляцию и развертывание роботов. • Компания достигла годовой выручки в $100 миллионов через 10 месяцев после первого коммерческого внедрения, заключив более 60 партнерских соглашений в различных отраслях. • Модель S1 может выполнять новые, многошаговые задачи продолжительностью до 10 минут, такие как пересадка растений, приготовление блинов или сборка комплектов, которые не были охвачены предварительным набором данных. • В тестах Skild AI на новых многошаговых задачах модель S1 добивалась успеха примерно в 66% случаев на каждом шаге, что более чем в семь раз превышает показатель в 9% у аналогичной ИИ-системы. • Skild оценивает, что демонстрация задачи по короткому видеопримеру эквивалентна примерно 380 ручным тренировочным примерам, на сбор которых человеком ушло бы 50-100 часов. • Skild, NVIDIA и Foxconn используют SkildBrain на манипуляторах для высокоточной сборки систем NVIDIA Blackwell. • NVIDIA Cosmos помогает преобразовывать видео в структурированные описания и аннотировать данные в масштабе, а NVIDIA Omniverse и Isaac Sim предоставляют виртуальные среды для обучения и тестирования. • Skild использует фреймворк NVIDIA Isaac Lab для обучения с подкреплением, который, благодаря движку Newton, позволяет точно моделировать физические параметры и сокращать разрыв между симуляцией и реальностью. ⚖️ Почему это важно Новая модель S1 от Skild AI позволяет роботам быстро адаптироваться к новым задачам без необходимости дорогостоящего и длительного перепрограммирования, что снижает затраты и увеличивает гибкость производства. ↗ Источник: https://blogs.nvidia.com/blog/skild-ai-s1-physical-ai/