hadoop优化

头像
Liky
    阅读 1 分钟

    数据压缩

    1. 很多小文件 , 将小文件压缩为一个大文件 , IO效率加快
    2. Bzip2
    3. LZO
    4. Snappy

    配置文件调优

    1. image.png
    2. image.png
    3. image.png
    大数据hadoop
    Liky
    30 声望0 粉丝

    引用和评论

    推荐阅读
    头像
    Dolphinscheduler IDEA本地调试

    journey赞 1阅读 10.3k

    头像
    【Hadoop】HDFS架构解析

    kamier赞 1阅读 1.1k

    头像
    【Hadoop】HBase系统解析及适用场景

    kamier赞 1阅读 817

    头像
    基于 pyflink 的算法工作流设计和改造

    ApacheFlink赞 1阅读 734

    头像
    MCP+Hologres+LLM 搭建数据分析 Agent

    阿里云大数据AI阅读 901

    头像
    某全球领先网络解决方案提供商 基于 Apache Doris 统一 Trino、Pinot、Iceberg、Kyuubi技术栈

    SelectDB技术团队阅读 833

    头像
    SelectDB 实时分析性能突出，宝舵成本锐减与性能显著提升的双赢之旅

    SelectDB技术团队阅读 718

    0 条评论
    得票最新