Нейросети обошли людей в тесте на креативность, но есть нюансы
Нейросети обошли людей в тесте на креативность, но есть нюансы Исследователи сравнили 35 языковых моделей и 75 человек в заданиях на комбинаторную креативность — способность находить неожиданные связи между знакомыми понятиями и придумывать на их основе новые идеи. По среднему результату подопытные-люди уступили каждой из проверенных моделей. Например, Claude Fable 5 попросили найти аналогию между синим китом и матрасом. Модель обратила внимание, что на коже кита живут усоногие рачки, а в обивке матраса могут обитать пылевые клещи. Затем она перенесла идею пылесоса с матраса на кита и предложила дрон для очистки его кожи от рачков. В эксперименте модель лишь описала эту концепцию, ее практичность не проверяли. Авторы проверяли три способности: находить цепочки связей, строить аналогии и объединять понятия в новую концепцию. Последнее задание оказалось самым сложным для обеих групп. По оценке исследователей, модели в среднем находили подходящий общий принцип для объединения в 43% случаев, люди в 13%. Когда модели все-таки находили такой принцип, они в 97% случаев могли на его основе описать связную концепцию. Основная сложность возникала именно на первом этапе. При этом разные модели нередко приходили к похожим решениям. В каждой пятой из 2070 придуманных концепций исследователи нашли как минимум два свойства, близких по смыслу к свойствам концепции другой модели для того же задания. Так, две модели независимо предложили объединить оперу с документальным кино через архивные кадры и пение, основанное на записанной речи. У сравнения с людьми есть ограничения. Участников набирали онлайн, и сами авторы отмечают, что эта группа не представляет всех людей, включая ученых и художников. Ответы по ряду критериев оценивали другие языковые модели. Один из авторов дополнительно проверил небольшую выборку вслепую: его оценки совпали с мнением большинства моделей-судей в 66% случаев. Люди и модели при этом чаще обращались к разным понятиям. Участники использовали в ответах повседневные предметы, состояния и чувства; модели чаще называли людей и места. Авторы считают, что совместная работа могла бы дать более разнообразные идеи, хотя в этом эксперименте такого сотрудничества не проверяли. @anti_agi