Опубликованы результаты StarSkirmish Bench v0.2 — бенчмарка, где ИИ-модели пишут ботов ...
Опубликованы результаты StarSkirmish Bench v0.2 — бенчмарка, где ИИ-модели пишут ботов для StarCraft: Brood War за один час. Лидером стал GPT-6 Astra, показавший лучший средний винрейт среди современных моделей OpenAI, Anthropic, Google и Meta. Однако даже самый сильный ИИ-бот выигрывает только 7% партий против лучших людей-ботов, оставаясь далеко позади человеческих программ. Модели заметно различаются по стратегиям, частоте практики с сильными оппонентами и стоимости запуска: GPT-6.1 Sol занимает второе место, предлагая отличное соотношение цены и качества. Бенчмарк показывает, что ИИ всё ещё не догнал топовых людей в долгосрочном планировании и адаптации. Источник: https://starskirmish.com/bench/v0-2/
3 просмотров