Fern
Fern Первая модель Mirendil обученная с нуля. Контекст до 10 миллионов токенов, это примерно 23 МБ кода или полмиллиона строк • Работа по большим репозиториям целиком • Кодинг-агент: запускает команды, читает вывод, гоняет до зеленых тестов • Разбор длинных логов и стектрейсов, поиск места, где сломалось обучение • Чтение трасс агента от начала до конца с объяснением, что произошло • Проверка претрейн-данных на дубликаты и загрязнение бенчмарками • Заточка под исследовательский код: циклы обучения, пайплайны данных, замеры • 0,1-0,5 трлн параметров • На RULER поиск одиночного фрагмента 100% даже на 10 млн токенов • Многошаговые вопросы на такой длине проседают до 45% • Доступа пока нет, в разработке две модели крупнее Цена длинного контекста - качество ответа Спасибо @Endorpheen #longcontext #coding