🔬 SEFD: новый набор данных для обучения финансовых LLM — 18 июня 2026 г. в 06:00:04.497
🔬 SEFD: новый набор данных для обучения финансовых LLM Исследователи из Stanford и других университетов разработали SEFD — усовершенствованную версию данных EDGAR для обучения языковым моделям на финансовых документах. Текущие SEC-отчёты часто теряют свою структуру, превращаясь в плоский текст, что затрудняет анализ. SEFD использует layout-faithful MultiMarkdown, сохраняющий логику и структуру документа, избавляясь от лишнего HTML, который увеличивает количество токенов. Содержит 152 млрд токенов, а предполагаемый полный архив может достичь 550 млрд. Пересечение с Common Crawl составляет менее 0,1%, что делает его ценным ресурсом для создания финансовых LLM и анализа структуры отчётности.
8 просмотров