SF

架构师之路

架构师之路

注册登录
关注博客注册登录
主页
关于
RSS

Spark series

头像
大军
    2021-08-30
    阅读 1 分钟
    中文
    4

    Spark - Distributed High Availability Cluster Installation
    Spark - Spark Shell usage
    Spark - Spark Submit use
    Spark - RDD usage
    Spark - how the RPC of each component communicates
    Spark - Master and Worker
    Spark - Application Registration
    Spark - Resource Scheduling for Executors
    Spark - Executor running
    Spark - persistence engine
    Spark - Leader Election
    Spark - Standalone Deployment Mode
    In Spark - Standalone deployment mode, what should I do if the Application is executed?
    Spark - What should I do if the Executor exits abnormally?
    Spark - what to do if the worker quits
    Spark - wide and narrow dependencies
    Spark - stage segmentation
    Spark - TaskSet submission
    Spark - resource allocation for tasks
    Spark - Task Execution Process (1) - BypassMergeSortShuffleWriter
    Spark - Task execution process (2) - UnsafeShuffleWriter
    Spark - Task execution process (3) - SortShuffleWriter
    Spark - Memory Manager and Execution Memory
    Spark - Processing of Task execution results
    Spark - talk about storage
    Spark - Standalone mode

    spark
    阅读 2.1k更新于 2022-07-19

    头像
    大军
    850 声望184 粉丝

    学而不思则罔,思而不学则殆


    « 上一篇
    Hadoop系列
    下一篇 »
    DataX系列

    引用和评论

    被 1 篇内容引用
    • 头像
      Spark - Standalone模式
    推荐阅读
    头像
    trino -- 查询流程解析

    大军阅读 861

    头像
    【活动回顾】StarRocks Singapore Meetup #2 @Shopee

    StarRocks阅读 533

    头像
    PySpark一:Windows10环境搭建

    愚公爬山阅读 527

    头像
    美的楼宇科技基于阿里云 EMR Serverless Spark 构建 LakeHouse 湖仓数据平台

    阿里云大数据AI阅读 486

    头像
    【赵渝强老师】Spark的容错机制:检查点

    赵渝强老师阅读 478

    头像
    最佳实践 | 在 EMR Serverless Spark 中实现 StarRocks 读写操作

    阿里云大数据AI阅读 413

    头像
    最佳实践 | 在 EMR Serverless Spark 中实现 Doris 读写操作

    阿里云大数据AI阅读 410

    0 条评论
    得票最新
    头像
    评论支持部分 Markdown 语法:**粗体** _斜体_ [链接](http://example.com) `代码` - 列表 > 引用。你还可以使用 @ 来通知其他用户。
    ©2025 架构师之路
    除特别声明外,作品采用《署名-非商业性使用-禁止演绎 4.0 国际》进行许可
    SF使用 SegmentFault 发布
    SegmentFault - 凝聚集体智慧,推动技术进步
    服务协议隐私政策浙ICP备15005796号-2浙公网安备33010602002000号