Найден ускоритель работы с аналитическими задачами. Изучен, протестирован и описан в эт...
Найден ускоритель работы с аналитическими задачами. Изучен, протестирован и описан в этой статье. Привет, это Егор Лукьянов, старший аналитик данных. Когда в очередной раз pandas начал тормозить, я подумал, хватит это терпеть надо посмотреть, что вообще есть сейчас на рынке. 🔹PySpark. Обрабатывает огромные наборы данных, распределяя вычисления на несколько машин. 🔹Dask. Предлагает похожий на pandas синтаксис, но с возможностью параллельных вычислений. 🔹Polars. Делает ставку на максимальную скорость на одной машине, используя Rust. ❗️Но: с каждым из них нужно переписывать старый код. FireDucks. Та-дам! Транслирует привычный код на pandas в более производительные операции. Как он работает и какие у него есть ограничения, я детально описал в статье на примере своей задачи. Читайте, пробуйте и делитесь мнением в комментариях💫 #ozontech_habr