NVIDIA: 2,8 трлн токенов индийских языков и открытый рецепт претрейна
NVIDIA: 2,8 трлн токенов индийских языков и открытый рецепт претрейна Свой узкий язык в претрейне ломается не на железе, а на выборке: открытых токенов мало, а синтетику без якоря к источнику не хочется лить в смесь. NVIDIA с AI4Bharat выкладывают корпус на 2,8 трлн токенов для 22 индийских языков — и вместе с архивом отдают рецепт конвейера на NeMo Data Designer: перевод целых документов, оценка качества, починка брака на видеокартах. Если у вас свои англоязычные материалы — веб, код, задачи с ответами — промпты и проверки из рецепта можно перенастроить под них: каждая запись ведёт к исходнику, выход сверяют с ним, чтобы формулы и куски кода не поплыли. Гляньте открытый рецепт в каталоге моделей и сравните со своим ручным пайплайном перевода — там же лежит и сам корпус.