LEAP: агентная система Google, которая помогла LLM решить все задачи Putnam 2025 — 8 июня 2026 г. в 16:57:23.518
LEAP: агентная система Google, которая помогла LLM решить все задачи Putnam 2025 Google представила исследование о системе LEAP — агентном фреймворке для автоматического доказательства теорем. Её задача — помогать языковым моделям строить строгие формальные доказательства на языке Lean, которые можно проверить машинно. Почему это важно? Обычное доказательство на естественном языке почти всегда оставляет пространство для интерпретаций: где-то пропущен переход, где-то автор полагается на интуицию, где-то логическая связка не прописана полностью. Формальное доказательство устроено иначе. Оно записывается на языке, который понимает компилятор. Если компилятор принимает доказательство, значит логическая цепочка корректна. Проблема в том, что писать такие доказательства намного сложнее, чем обычные математические рассуждения. 🟡 Как работает LEAP В этой области обычно сильнее всего специализированные модели, которые обучали именно под Lean. LEAP идет другим путем. Это не одна узкая модель, а агентный фреймворк, который использует универсальные LLM. Система разбивает сложную задачу на части, пробует строить доказательство, получает ошибки от компилятора Lean и затем рекурсивно исправляет слабые места. То есть модель не просто генерирует ответ одним проходом, а работает итеративно: пробует, проверяет, исправляет и снова проверяет. 🟡 Главный результат — Putnam 2025 Самый громкий результат LEAP — формальное решение всех 12 задач олимпиады Putnam 2025. Putnam — одно из самых сложных студенческих математических соревнований в США. По данным исследования, LEAP справилась со всеми задачами, тогда как сама по себе Gemini 3.1 Pro не решила ни одной. Открытый специализированный прувер Goedel-Prover-V2 также не смог решить ни одну задачу. Для сравнения, закрытая система Aristotle, которая ранее показала результат уровня золотой медали на IMO 2025, в тестах авторов решила 9 задач из 12. 🟡 Новый бенчмарк для формальных доказательств Вместе с работой исследователи представили IMO-LeanProofBench — набор из 60 олимпиадных задач, формализованных в Lean. Эти задачи требуют не просто стандартных математических ходов, а сложных и нестандартных рассуждений. На этом наборе LEAP показала около 70% успешных решений в среднем по basic и advanced-сетам. Для сравнения, Aristotle набрала примерно 48%. 🟡 Ещё один интересный результат LEAP также смогла формально проверить вспомогательную часть одной комбинаторной задачи, связанной с идеями Дональда Кнута. Для этого система сгенерировала более 5000 строк кода на Lean 4. Это хороший пример того, как LLM могут быть полезны не только в написании обычного кода, но и в создании проверяемых математических конструкций. 🟡 Но есть нюанс В работе авторы критикуют закрытые системы вроде Axiom3, Numina и Aristotle за то, что их невозможно полноценно проверить научному сообществу. При этом код самой LEAP тоже пока не опубликован. Да, итоговые доказательства можно открыть и перепроверить через компилятор Lean. Это частично решает проблему доверия. Но полностью воспроизвести результаты Google пока нельзя. Главный вывод: LEAP показывает, что LLM становятся заметно сильнее в формальной математике, если дать им не просто промпт, а агентный цикл с проверкой, ошибками компилятора и постепенным исправлением доказательства. #news #ai #ml