Магистрант НГУ реализовал обучаемый индекс для Apache Hudi и экспериментально оценил ег...
Магистрант НГУ реализовал обучаемый индекс для Apache Hudi и экспериментально оценил его поведение при операциях записи👨💻 Обучаемый индекс Radix Spline для индексирования в хранилище данных Apache Hudi, предназначенный для определения местоположения записей по ключу при выполнении операций записи, разработал студент магистратуры Факультета информационных технологий Новосибирского государственного университета Станислав Хомченко. Также молодой исследователь под научным руководством кандидата физико-математических наук, доцента кафедры программирования Механико-математического факультета НГУ Павла Емельянова провел экспериментальное исследование производительности структуры данного индекса. В целом при определённых значениях индекс Radix Spline показал себя достаточно уверенно по сравнению с существующими индексами Hudi. — В современных системах хранения больших данных важной задачей является не только размещение больших объемов информации, но и эффективное выполнение операций изменения данных. В отличие от хранилищ, ориентированных только на добавление новых файлов, современные табличные форматы должны поддерживать вставку, обновление и удаление записей. Это особенно важно для аналитических хранилищ, в которых данные регулярно изменяются и должны оставаться доступными для последующей обработки. Мы впервые применили обучаемую индексную структуру Radix Spline к задаче определения местоположения записей в Apache Hudi. В отличие от существующих подходов, рассматриваемый индекс использует модель зависимости между числовым ключом и его позицией в отсортированном наборе ключей внутри партиции, — пояснил Станислав Хомченко. Подробнее