Почему ИИ галлюцинирует и как он учится управлять миром в матрице — лучшие статьи об ИИ...
Почему ИИ галлюцинирует и как он учится управлять миром в матрице — лучшие статьи об ИИ за август 2025 Почему ИИ галлюцинирует и как он учится управлять миром в матрице — лучшие статьи об ИИ за август 2025 ИИ все чаще ведет себя как человек: он рискует, хитрит, ошибается, но при этом чрезмерно уверен в себе. В прошлом месяце вышли исследования о том, как снизить галлюцинации моделей, как правильно использовать память для агентов и зачем им когнитивные карты, как построить мультиагентные системы без хаоса и что значит по-настоящему интерактивный мир для обучения ИИ. Давайте разбираться. 1. Почему LLM врут с умным видом Галлюцинации — это не баг, а следствие самих метрик обучения. Модели подталкивают к угадыванию, а не к честному ответу «я не знаю». Новая идея — добавить уровень уверенности и менять систему оценки так, чтобы стимулы смещались в сторону надежности. 🔍 Подробнее | 📜 Статья Summary материалов: - Подробнее: Большие языковые модели могут выдавать ответы, даже когда не уверены в их правильности. Это связано с особенностями их обучения и последующего оценивания. Исследование предлагает объяснение, почему модели предпочитают угадывать, а не признаваться в незнании. - 📜 Статья: Языковые модели иногда выдают правдоподобные, но неверные утверждения вместо признания неопределённости из-за процедур обучения и оценки, которые поощряют угадывание, а не признание неуверенности. Галлюцинации возникают из-за ошибок в бинарной классификации и сохраняются из-за системы оценки, оптимизирующей языковые модели для успешного прохождения тестов. Для решения проблемы предлагается модифицировать систему оценки существующих бенчмарков, а не вводить дополнительные оценки галлюцинаций. 2. Глубокие исследования без границ: выбираем свою LLM и управляем стратегией поиска Universal Deep Research отделяет стратегию поиска от модели: пользователь описывает алгоритм на естественном языке, а система превращает его в код. Это дает контроль, прозрачность и гибкость для любых исследовательских задач. 🔍 Подробнее | 📜 Статья | 💾 Код Summary материалов: - 🔍 Подробнее: Инструменты для поиска и анализа информации на базе LLM становятся умнее. Однако большинство таких сервисов не предлагают особых подходов, например, выбора LLM или уникальной стратегии поиска. В исследовании Nvidia предлагается идея: дать возможность пользователю выбирать LLM для поиска информации и описывать собственные алгоритмы исследования без программирования. Это попытка предоставить пользователю управление стратегией глубокого поиска. - 📜 Статья: Universal Deep Research (UDR) — это универсальная агентская система, которая работает с любыми языковыми моделями. Она позволяет пользователям создавать, редактировать и совершенствовать собственные стратегии глубоких исследований без дополнительного обучения или тонкой настройки. В системе представлены примеры минимальных, экспансивных и интенсивных исследовательских стратегий, а также имеется пользовательский интерфейс для экспериментов. 3. Как дообучать LLM на лету с помощью памяти вместо файнтюнинга AgentFly показывает, что память может заменить дорогой файнтюнинг. Агент хранит опыт в кейсах и использует его для новых задач, постоянно обучаясь новому. 🔍 Подробнее | 📜 Статья | 💾 Код Summary материалов: - 🔍 Подробнее: Цель AgentFly — научить агента улучшаться «на лету» без изменения весов модели. Агент хранит прошлые удачные шаги как кейсы, формализует процесс как MDP с памятью. Небольшая, тщательно отобранная память даёт перенос на новые домены и стабильный рост качества — без дорогого дообучения. Результаты: GAIA — 87,88%, SimpleQA — 95%, в Источник: оригинальный пост