Aleph Alpha выпустила Kolibri — крупную языковую модель (LLM) с открытым весом для неме...
Aleph Alpha выпустила Kolibri — крупную языковую модель (LLM) с открытым весом для немецкого и английского языков. В Kolibri используется архитектура «смеси экспертов» с 78 миллиардами параметров, но для каждого токена работают только 3,5 миллиарда, что экономит ресурсы. Модель полностью разработана и обучена в Германии и Финляндии с соблюдением европейских стандартов защиты данных. Kolibri отличается тем, что может обрабатывать очень длинные тексты (до миллиона токенов), эффективно работает с немецким языком, умеет признавать, когда не знает ответа, и допускает настройку глубины рассуждения. Модель особенно подходит для организаций, которым важно хранить данные внутри своей инфраструктуры, но она уступает по памяти и программным требованиям, а также поддерживает только два языка. Источник: https://tej.as/blog/aleph-alpha-kolibri