Автор придумал папку-препятствие: без пяти файлов ИИ не тронет боевые данные
Автор придумал папку-препятствие: без пяти файлов ИИ не тронет боевые данные Одиночный разработчик Сэм Ривера описал простой приём против самообмана при работе с бесплатными ИИ-моделями: пока на диске нет пяти файлов-доказательств, скрипт не пускает систему к настоящим данным. Успешный код завершения утилиты — ещё не доказательство, что прогон кто-то проверил, поэтому автор решил ставить «печать» в виде папки. Материал подготовлен в рамках продвижения опенсорс-проекта MonkeyCode, дающего бесплатный доступ к моделям и бесплатный сервер для экспериментов. Идея — «папка доказательств»: на каждый прогон создаётся отдельная папка с уникальным именем по времени — слово «latest» использовать нельзя, такие папки быстро теряют смысл. Внутри лежат пять обязательных файлов: замороженный тестовый вход, сырой образец ответа модели, отметка о формате, подпись человека-проверяющего и скрипт отката. Проверяющий сканер завершается ошибкой, если хоть один файл отсутствует или слишком мал, а скрипт отката не является исполняемым — тогда доступ к реальным входам остаётся заблокированным. Схема работает так: сначала модель прогоняют только на фейковом примере входа, сохраняют его сырой ответ (пустой ответ — тоже провал), скрипт проверяет наличие нужных ключей в JSON — это структура данных вида «имя: значение», — затем человек пишет отметку со своим именем и вердиктом, и лишь после успешной проверки сканера открывается путь к настоящим данным. Одобрение лайком в чате и пустые файлы доказательством не считаются. Важные оговорки автора: это учебный пример для одиночек, а не сервис и не замена аудиту или тестам. Схема не измеряет качество модели — «красивый, но неверный» ответ пройдёт проверку ключей. Скрипты и сканер — это предлагаемый код, а не готовый продукт; реальное внедрение и измеренный эффект в статье не показаны, проверка — только намеренный слом: удалить отметку или опустошить файл и убедиться, что сканер вернул код ошибки 2. Ограничения и правила: прогон ограничен 45 минутами и бесплатным тарифом — если для доказательства работы папки нужна платная видеокарта, автор советует бросить. Если нельзя честно написать вердикт или ответ модели так и не совпал с требуемым форматом — прогон бросают, а правку сканера, чтобы он игнорировал дыры, автор называет признаком «театра безопасности». Секреты и данные клиентов в папку класть нельзя, а бесплатный сервер для опытов может исчезнуть — строить на нём бизнес не стоит. Если бесплатный путь закроется, папка с подтверждениями и сканер остаются — в этом автор видит главную ценность конструкции. Он не заявляет никаких измеренных показателей: ни сравнительных тестов качества, ни данных о доступности, ни лимитов моделей. Источник: https://dev.to/rivera123/build-a-fail-closed-evidence-binder-for-free-model-jobs-4la