Как я заставляю нейронки проверять свои косяки 🧠 — 8 июня 2026 г. в 06:05:03.155
Как я заставляю нейронки проверять свои косяки 🧠 У меня есть правило: чем красивее выглядит длинный AI-отчёт, тем сильнее его надо проверять. Потому что нейронка может собрать аккуратный документ, разложить всё по разделам, сделать выводы, написать уверенным тоном. А потом выясняется, что часть фактов потерялась, цитата не бьётся с источником, цифра взялась непонятно откуда, а вывод получился сильнее, чем позволяют данные. Особенно это проявляется в реальной работе над проектами. Когда агенту нужно разобрать несколько файлов, транскриптов, ссылок, заметок, собрать фактуру и превратить всё это в документ, который потом реально идёт в работу. Для таких задач я сделал себе отдельный skill: quality-check. Его задача простая: заставить нейронку не просто сказать «готово», а пройтись по результату как ревизор. Он проверяет: — где остались пробелы и неподтверждённые места; — совпадает ли результат с исходной задачей; — какие цифры, цитаты и ответственные нужно сверить; — где вывод слишком уверенный для имеющихся данных; — можно ли использовать документ as-is или его нужно дорабатывать. Один из показательных случаев был с документом для выступления. Внешне всё выглядело нормально: тезисы собраны, логика есть, структура аккуратная. Но quality-check поставил оценку 0.59 и подсветил несколько проблемных зон. Во-первых, в документе была цитата, которую нейронка немного переписала. Вроде мелочь, но если цитата используется как доказательство, она должна быть либо дословной, либо честно обозначенной как адаптация. Во-вторых, часть цифр была без первоисточника. Не обязательно неправильные, но непонятно, откуда они появились. А значит, их нельзя спокойно тащить дальше без проверки. И самое полезное: skill не сказал «ну в целом норм». Он расписал конкретные проблемные зоны, которые можно легко проверить. Вот за это я его и люблю. Он подсвечивает конкретные зоны риска: здесь нет источника, здесь цитата изменилась, здесь вывод звучит увереннее, чем позволяют данные. Я могу быстро открыть нужное место, проверить и сразу понять, бьётся оно или нет. Ещё он иногда неплохо ловит смещение в подтверждение. Например, когда в документе собраны только позитивные факты, а негативные сигналы или ограничения вообще не искались. Для AI это типичная история: красиво собрать то, что подтверждает текущую логику, и не заметить, что выборка однобокая. Лайфхак для улучшения анализа — запускать такую проверку другой моделью. Например, основной документ собирается в Claude Code с Opus, а проверку я прогоняю через Codex с GPT с доступом к тем же локальным файлам. Разные модели заметно лучше подсвечивают косяки друг друга, чем когда одна и та же модель сама себя проверяет в том же контексте. Важно: это не волшебная кнопка «найти все ошибки». Skill не гарантирует, что поймает каждую кривую гипотезу или слишком широкое обобщение. Такие вещи и люди не всегда быстро ловят. Особенно если документ большой, источников много, а фактура размазана по разным местам. По моим ощущениям, он хорошо ловит самые яркие и опасные косяки: цифры без источника, неподтверждённые цитаты, потерянные ограничения, уехавший фокус, слишком уверенные формулировки. А если документ прям большой, проверку лучше дробить на части. Иначе сама проверяющая модель тоже начинает терять детали. Выложил публичную версию здесь: https://github.com/MainFrame100/quality-check-skill Там есть сам .skill, README на русском и английском и описание логики работы. Можно брать и адаптировать под себя, только сохраняйте ссылку на источник. Можете скормить эту ссылку своей нейронке. Она поймет как его установить и подскажет по использованию