FireDucks : 熊猫但速度快 100 倍

主要观点:作者是对冲基金专业人士,一直使用 Pandas 库处理金融数据,Polars 因速度和效率而震撼 Python 生态系统,但作者因现有约 3 万行 Pandas 代码规模大而犹豫重写为 Polars。后来出现了 FireDucks,是 NEC 公司程序员开发的速度极快的 Pandas 库,于 2023 年 10 月推出,其benchmark 数据显示比 DuckDB、Pandas 和 Polars 都快,作者在自己机器上进行基准测试,结果也表明 FireDucks 在创建数据、读取数据、计算均值和计算总和等方面比 Pandas 快 130 倍到 200 倍,且使用 FireDucks 无需更改现有 Pandas 代码,可直接插入并获得大幅速度提升,作者认为这满足了 Pandas 用户对速度提升、代码兼容性、零代码更改和易用性的需求,同时提醒不要因纯 Python 慢而否定 Python,可通过优化(如 FireDucks、Codon、Cython 等)使其快速,要利用庞大的生态系统。
关键信息

  • 作者背景为对冲基金专业人士,常用 Pandas 库。
  • Polars 因速度高效震撼 Python 生态系统。
  • FireDucks 由 NEC 公司程序员开发,2023 年 10 月推出,速度极快。
  • 作者在自己机器上的基准测试结果显示 FireDucks 比 Pandas 快很多。
  • 使用 FireDucks 无需更改现有 Pandas 代码。
    重要细节
  • 提供了 FireDucks 的相关 logo 图片和 benchmark 页面链接。
  • 展示了创建数据、读取数据、计算均值和计算总和等基准测试的图片及结果。
阅读 57
0 条评论