IndustrialVLA-Bench: чистая точность VLA-моделей почти совпала, а устойчивость и понима...
IndustrialVLA-Bench: чистая точность VLA-моделей почти совпала, а устойчивость и понимание языка расходятся на десятки пунктов Авторы arXiv:2609.25562 представили IndustrialVLA-Bench — единую схему оценки шести выпущенных систем на двух парадигмах: vision-language-action (VLA) и world-action (WAM). Сравнение ведётся по четырём осям: чистая успешность на LIBERO, устойчивость без языка на LIBERO-Plus, чувствительность к перефразировке инструкций на LIBERO-Para и наблюдаемая стоимость исполнения (задержка инференса, пиковая память, режим запуска). Ключевой результат: по чистой успешности все шесть систем расходятся всего на 1,58 пункта, тогда как по устойчивости и перефразировке разброс достигает 14,62 и 31,08 пункта. Ограничение сравнения тремя «протокольно-достоверными» системами эффект сохраняет — 1,36, 14,62 и 23,10 пункта, то есть вывод не держится на слабых записях. Практический смысл: высокий балл на стандартном бенчмарке не различает политики, а различают их устойчивость к изменению формулировки задачи и условий. Авторы не заявляют превосходства ни одной парадигмы и публикуют записи оценок и код. Это оценка на бенчмарках, а не эксплуатация в цеху: переносить цифры на конкретную ячейку нельзя без собственного стенда. Источники: arXiv — Robotics (cs.RO)