Идея «новая» или нет: LLM-судья меняет вердикт от одного промпта
Идея «новая» или нет: LLM-судья меняет вердикт от одного промпта В цепочке генерации идей «новая или нет» часто решает не вы, а второй запрос к модели — и от пары слов в формулировке зависит больше, чем от смысла гипотезы. Ai2 собрала бенчмарк на шести судьях по парам из рецензий ICLR и простого генератора гипотез: у GPT-5.4 одна смена постановки задачи сдвинула точность больше чем на 50 процентных пунктов, хотя идеи в парах не менялись. Эксперт вручную разобрал 30 спорных сравнений и ни одну гипотезу от генератора не назвал новой — автоматический судья на том же тексте при этом легко переворачивает вердикт. Если у вас отсев «слишком банального» перед черновиком, один шаблон формулировки не гарантия: те же строки могут получить противоположный ответ.