⚡️ Google протестировали LLM на реальных научных вопросах по сверхпроводимости.
⚡️ Google протестировали LLM на реальных научных вопросах по сверхпроводимости. Исследователи собрали 67 сложных вопросов, которые обычно обсуждают физики в области высокотемпературной сверхпроводимости, и дали их шести моделям: • GPT-4o • Claude 3.5 • Gemini Advanced 1.5 • Perplexity • NotebookLM • специальной RAG-системе Каждый ответ оценивали 12 международных экспертов по нескольким критериям: • полнота ответа • объективность • точность • наличие научных источников • ясность объяснения Интересный результат: модели с закрытой, тщательно подобранной научной базой отвечали точнее, чем модели с доступом ко всему интернету. В закрытой базе использовали: • 15 ключевых обзорных статей • около 3300 научных ссылок • ~1700 отобранных источников по экспериментам и теории. Главный вывод исследования: LLM могут быть полезны как “виртуальный научный ассистент”, который помогает исследователю быстро разобраться в сложной области и увидеть разные научные точки зрения. Но качество сильно зависит от контролируемых источников знаний, а не просто от доступа к интернету. https://research.google/blog/testing-llms-on-superconductivity-research-questions/ Python в MAX: https://max.ru/pythonl