MemT 1.0: 300B параметров и «родная» память для AI
MemT 1.0: 300B параметров и «родная» память для AI 💡 В AI-сообществе фокус сместился на RSI (Reinforcement Self-Improvement), о чем свидетельствует недавняя статья Джеффри Хинтона с 22 соавторами, включая Яна Лекуна, Павла Пачоцки и Джека Кларка. Ключевой вопрос: как один шаг улучшения становится стартовой точкой для следующего? Ответ кроется в памяти. Компания MemTensor представила MemT 1.0 — серию моделей, где память интегрирована непосредственно в архитектуру Transformer, а не подключена как внешний модуль. Это первый инженерный прорыв в области «родной памяти» (memory-native) на масштабе до 300 млрд параметров. ⚡ MemT 1.0 включает две модели: MemT-1.0-Nano (36B параметров, активация 3B, база Qwen3.6-35B-A3B) и MemT-1.0-Flash (288B параметров, активация 17B, база DeepSeek-V4-Flash). Архитектурное новшество — параллельная ветвь вычислений памяти в блоках Transformer. В отличие от внешних систем, которые вставляют текст в контекст, MemT кодирует опыт в динамические матричные состояния. Эти состояния читаются через специальный механизм, а результат смешивается с выходом внимания, влияя на генерацию. Такой подход позволяет модели обучаться не только использованию опыта, но и самому процессу его записи, обновления и извлечения. 🤔 Эффективность подтверждена на бенчмарках SWE-bench Verified. MemT-1.0-Nano показал средний успех 69.73% против 66.07% у базовой модели без памяти и 69.13% у системы с текстовой памятью. Доля задач, решенных успешно во всех трех попытках, выросла с 54.00% до 62.80%. В демонстрации решения лабиринта модель с родной памятью во второй попытке избегала тупиков, найденных в первой, благодаря сохраненным состояниям. Также модель корректно обрабатывает изменяющуюся информацию в диалогах, различая официальные решения и предварительные предложения. 📌 Что это значит на практике: MemT 1.0 предлагает более эффективное управление контекстом: при длине 128K скорость инференса Nano в 1.86 раза выше, чем у полного контекста, а потребление памяти в 66 раз меньше. Это критично для корпоративных сценариев, где накопление и повторное использование проверенных рабочих процессов снижает стоимость и время на решение повторяющихся задач. 🚀 Технология использует механизм MoS (Mixture-of-Storage) для масштабирования памяти и обучение на 34 млрд токенов. MemT 1.0 закрывает первый блок пазла RSI — сохранение опыта, позволяя системе накапливать знания для будущего самоусовершенствования. Код и веса моделей доступны на GitHub и HuggingFace. Перевод и адаптация: AI Lab. Источник: QbitAI (量子位), https://www.qbitai.com/2026/10/504456.html #AI #LLM #MemT #RSI #Transformer #DeepLearning