Почему ИИ плохо писал на COBOL и что изменилось: разбираем новый бенчмарк OpenAI
Почему ИИ плохо писал на COBOL и что изменилось: разбираем новый бенчмарк OpenAI OpenAI опубликовала результаты тестов своих моделей на «малоресурсных» языках программирования — COBOL, Fortran, Visual Basic и OCaml. Компания представила новый бенчмарк MultiLangBench и закрытый тест на перенос старого кода. Цифры впечатляют: если прошлое поколение моделей переписывало COBOL-программы в 5,4% случаев, то новая GPT-6.1 Sol справляется в 86,6%, а при повышенном уровне рассуждений — в 97,9%. COBOL, созданный в 1959 году, до сих пор обслуживает банки, страховые компании и госсектор. По оценкам IBM, на нём работают более 40% систем онлайн-банкинга, 80% оплат картой в магазинах и 95% операций в банкоматах. Однако нейросети исторически плохо справлялись с такими языками: открытого кода и документации на COBOL значительно меньше, чем на Python или JavaScript. Например, в апрельском исследовании COBOL-Coder GPT-4o писала компилируемый код в 41,8% случаев, а правильный с первой попытки — в 16,4%. MultiLangBench проверяет модели на большой задаче: нужно с нуля написать движок базы данных, совместимый с SQLite 3.40.1, на одном из 20 языков. В среднем GPT-6 Astra проходит 87,4% тестов против 26,8% у прошлой модели. На COBOL результат вырос с 10,9% до 72,1%, но он остаётся самым трудным языком в наборе. Второй тест — перенос программ с COBOL на современные языки с побайтовым совпадением результатов. Здесь GPT-6.1 Sol достигает 97,9% при повышенном уровне рассуждений. OpenAI не раскрывает деталей обучения, отмечая лишь, что учитывает отзывы разработчиков и корпоративных клиентов. Главная оговорка — тесты придуманы и прогнаны самой OpenAI, сравнений с Claude или Gemini нет. Компания предупреждает о рисках миграции: например, арифметика с фиксированной точкой в COBOL по умолчанию отбрасывает лишние знаки, и перенесённая программа может начислить другие суммы без единой ошибки. Поэтому полный цикл миграции — от разбора чужого кода до отладки — остаётся целью, а не достигнутым результатом. Репозиторий: https://github.com/openai/MultiLangBench Главное: • Новый бенчмарк MultiLangBench от OpenAI оценивает модели на 20 языках, включая COBOL и Fortran. • GPT-6 Astra проходит 87,4% тестов в среднем против 26,8% у прошлой модели. • Перенос COBOL-кода: GPT-6.1 Sol справляется в 97,9% случаев при повышенном уровне рассуждений. • COBOL остаётся самым трудным языком для ИИ, несмотря на рост с 10,9% до 72,1%. • OpenAI предупреждает о рисках миграции: округление в COBOL может изменить суммы без ошибок. #ИИ #COBOL #OpenAI #Бенчмарк #Программирование