Polars 2.0: SQL-ускоритель и стриминг по умолчанию
Polars 2.0: SQL-ускоритель и стриминг по умолчанию Вышел Polars 2.0. Ключевые обновления: поддержка out-of-core (выгрузка на диск), значительные улучшения производительности и встроенный SQL. В тестах на TPC-H и TPC-DS 1 Polars обошёл DataFusion и DuckDB (включая версию 2.0 alpha) на двух конфигурациях: c7a.4xlarge (16 vCPU, 32GB RAM) и c7a.metal (192 vCPU, 384GB RAM). Запуски выполнялись 5 раз с таймаутом в 60 секунд. Polars показал лучшее время во большинстве бенчмарков. DataFusion не смог завершить некоторые запросы из-за таймаута и нехватки памяти. По умолчанию collect() для LazyFrame теперь использует стриминговый движок. Это снижает потребление памяти и повышает производительность большинства запросов. Из-за изменения в порядке строк требуется мажорная версия. 🔥 Больше новостей: наш ТГ