Anthropic открыли исходный код FlashProve — инструмента для доказуемого инференса
Anthropic открыли исходный код FlashProve — инструмента для доказуемого инференса Инференс — это выполнение модели для получения ответа. FlashProve — прототип открытого криптографического протокола: он позволяет проверить, что ответ выдала именно заявленная провайдером модель, не имея доступа к её весам — внутренним числовым параметрам. Это нужно, например, чтобы обнаружить подмену модели на более дешёвую в сервисе, распределяющем запросы между моделями, или замену модели злоумышленниками внутри компании. Провайдер заранее публикует цифровой отпечаток весов, а к каждому ответу прикладывает файл-доказательство. Проверка его соответствия отпечатку подтверждает подлинность модели. Для этого достаточно обычного компьютера: ни веса, ни GPU — графический процессор — проверяющему не нужны. Для запроса на 1024 токена — фрагмента текста, с которым работает модель, — доказательство занимает около 19 МБ, а проверка длится примерно 17 секунд. Это всё ещё в разы дороже обычного инференса, но предыдущий результат — около 14 часов проверки и 93 ГБ на доказательство. В основе — давно известный метод zkSNARK: компактное криптографическое доказательство, позволяющее проверить вычисление без раскрытия скрытых данных. Заслуга Anthropic здесь — оптимизация до практичных скоростей для моделей до 400 млрд параметров. Причём, как сказано в статье, ускорением и оптимизацией в основном занимался Claude. Автор источника допускает: может, так и до детектора происхождения текстов недалеко. Материалы: — GitHub — anthropics/FlashProve: https://github.com/anthropics/FlashProve — https://www.anthropic.com/research/provable-inference Источник: https://t.me/data_secrets/10275 #RealVibe #AI #AI_Новости
Канал в каталоге Максиметера
7 подписчиков · IT и технологии