FineDNA: крупнейший датасет для обучения LLM работе с ДНК
FineDNA: крупнейший датасет для обучения LLM работе с ДНК Исследователи представили FineDNA — самый большой открытый набор данных для обучения больших языковых моделей (LLM) работе с последовательностями ДНК. Датасет охватывает три ключевых этапа: дообучение (midtraining), тонкую настройку с учителем (SFT) и обучение с подкреплением (RL). Это позволяет моделям не только понимать геномные данные, но и выполнять практические задачи, такие как предсказание функций генов или поиск регуляторных участков. FineDNA объединяет разнообразные геномные последовательности из множества организмов, включая человека, растения и бактерии. Для каждого этапа обучения данные размечены с учётом специфики задач: для midtraining — это сырые последовательности, для SFT — пары «запрос-ответ» с аннотациями, а для RL — задачи с чёткими критериями оценки. Такой подход позволяет модели последовательно осваивать биологический контекст и учиться принимать решения на основе геномной информации. Особенность датасета — его масштаб и структурированность. Авторы провели серию экспериментов, показав, что модели, обученные на FineDNA, превосходят аналоги по точности в задачах классификации регуляторных элементов и предсказания экспрессии генов. Это делает датасет полезным инструментом для биоинформатиков и разработчиков ИИ, работающих в области геномики. Данные и код доступны в открытом репозитории, что позволяет воспроизвести результаты и адаптировать датасет под свои задачи. Главное: • FineDNA — крупнейший датасет для обучения LLM на ДНК. • Покрывает этапы midtraining, SFT и RL. • Модели на FineDNA точнее в геномных задачах. • Открытый доступ к данным и коду. #ИИ #LLM #Геномика #OpenSource #Биоинформатика