Falcon-Emirati-7B: масштаб не спасает, если модель отвечает не тем регистром
Falcon-Emirati-7B: масштаб не спасает, если модель отвечает не тем регистром Собираете чат под ОАЭ или дообучаете ветку на «общем арабском»? На тестах с вариантами ответа многие модели выглядят нормально, а в живой переписке смысл верный, а формулировки — из учебника. TII выложила Falcon-Emirati-7B: не просто масштаб, а отдельный краул эмиратских форумов и синтетика под местную лексику. На открытых вопросах Alyah судья отдельно мерил регистр. У лидера 0,52 по шкале частичного зачёта — у соседей по сравнению таблицы цифры на порядок ниже, хотя на multiple choice разрыв был не так заметен. Перед релизом имеет смысл заглянуть в разбор пайплайна и добавить в свою оценку хотя бы один прогон без вариантов ответа. Размер модели диалект сам не дотянет.