Это не шутка: языковые модели могут сжимать 4 слова в 1 вектор! 🤯 — 11 июня 2026 г. в 05:55:10.356
Это не шутка: языковые модели могут сжимать 4 слова в 1 вектор! 🤯 Мы взяли передовую модель CALM, которая учится "упаковывать" куски текста, и обучили ее не на гигантских кластерах, а на обычной машине. И это сработало! Хотя и не без приключений: пришлось бороться с ошибками, которые могли бы остановить кого угодно. Главное открытие: даже на скромном железе и с ограниченными данными, эта техника показывает потенциал. Мы смогли добиться узнаваемости текста после "сжатия-разжатия", хоть и с некоторыми потерями. Это открывает двери для более эффективной работы с текстом. 🚀 Пора переосмыслить, как мы создаем и используем языковые модели. Магия происходит не только на суперкомпьютерах! ✨ 👉 https://iconicompany.com/ru/blog/compress-tokens-calm-autoencoder-cpu-domain-adaptation