🛠️ ServiceNow показала метод дообучения ИИ-агентов на их ошибках
🛠️ ServiceNow показала метод дообучения ИИ-агентов на их ошибках AutoSynthData от ServiceNow CoreAI решает практическую задачу: агент ошибается на конкретных сценариях, а данных для дообучения именно на этих слабых местах нет. Система оценивает модель в среде, находит провалы и генерирует под них новые задачи с проверкой — их отдают на пост-обучение. 📊 Задачи привязаны к среде: выполнимы доступными инструментами, похожи на реальные запросы и имеют надёжную проверку. Результаты на двух доменах: • EnterpriseOps Gym: синтетический SFT-чекпоинт поднял средний Pass@1 на 7,2 п.п. (рост на 35% к базе), доля успешных проверок выросла с 63,01% до 68,55% • ITSM: средний Pass@1 вырос с 18,77% до 27,18% — подход работает и во втором домене Для команд, внедряющих агентов во внутренние системы, это значит, что узкие места можно закрывать данными под конкретную среду, а не только общим дообучением 🔹 Первый Нейронный