spark 的文章 - SegmentFault 思否

0

Spark底层原理详细解析(深度好文，建议收藏)

My-sunmy 1月29日发布于 self.文章
收藏

Apache Spark是用于大规模数据处理的统一分析引擎，基于内存计算，提高了在大数据环境下数据处理的实时性，同时保证了高容错性和高可伸缩性，允许用户将Spark部署在大量硬件之上，形成集群。

0

Spark的cache和persist的区别

周大任 1月28日发布于 self.文章
收藏

昨天面试的时候被问到了spark cache和persist的区别, 今天学习了一下并做一些记录首先要了解的是RDD是lazy的，具体贴一段stack over flow的解答，很详细的介绍了怎么理解RDD，加cache与不加有什么区别，这个区别...

0

KubeEdge和Kuiper“双剑合并”，轻松解决边缘流式数据处理

华为云开发者社区 1月25日发布于开发者之家
收藏

引言：KubeEdge 是一个开源的边缘计算平台，它在Kubernetes原生的容器编排和调度能力之上，扩展实现了云边协同、计算下沉、海量边缘设备管理、边缘自治等能力。KubeEdge还将通过插件的形式支持5G MEC、AI云边协...

0

大数据场景下Volcano高效调度能力实践

华为云开发者社区 1月25日发布于开发者之家
收藏

摘要：本篇文章将会从Spark on Kubernetes 发展历程以及工作原理，以及介绍一下Spark with Volcano，Volcano如何能够帮助 Spark运行地更高效。

0

Spark 3.0 已来，是时候 on kubernetes 了

iyacontrol 1月24日发布于 kubernetes solutions
收藏

从Spark 2.4 版本开始，Spark 实验性支持 Kubernetes 作为资源管理器。不过虽然是实验性质，但是已经有很多单位将之用于生产环境了，并取得很好的效果，在可移植性，可扩展性，成本等方面都取得了收益。

0

迁移到Spark Operator和S3的4个集成步骤

Donald 1月21日发布于 self.文章
收藏

2020年CNCF中国云原生调查10人将获赠CNCF商店$100美元礼券！你填了吗？问卷链接（[链接]）客座文章作者：万事达卡首席软件开发工程师Allison Richardet在万事达，内部云团队维护我们的Kubernetes平台。我们的工作...

0

大数据框架之Spark

huangsongwei 1月19日发布于 self.文章
收藏

一. spark集群组成Spark集群由集群管理器（Cluster Manager）、工作节点（Worker）、执行器（Executor）、驱动器（Driver）、应用程序（Application）等部分组成。1、Driver：该进程执行Spark程序的 main 方法, ...

2

干货丨时序数据库DolphinDB与Spark的性能对比测试报告

DolphinDB 1月19日发布于分布式时序数据库DolphinDB
收藏

Spark是基于内存计算的通用大数据并行计算框架，内置多种组件，如批处理、流处理、机器学习和图处理。Hive是基于Hadoop的数据仓库，支持类SQL的命令查询，提升了Hadoop的易用性。Spark与Hive、Hadoop通常是搭配使...

1

Spark项目落地实战以及日常大数据开发注意事项

Eric 2020-12-28 发布于 self.文章
收藏

Spark简介基于内存的分布式集群计算平台可适配 Python、Java、Scala、SQL拓展功能：机器学习、流式计算、图计算Spark特点高效内存计算引擎DAG图比MapReduce快10～100倍易用提供丰富的API，支持Java，Scala， Pyth...

0

Spark的分布式存储系统BlockManager全解析

华为云开发者社区 2020-12-21 发布于开发者之家
收藏

摘要：BlockManager 是 spark 中至关重要的一个组件，在spark的运行过程中到处都有 BlockManager 的身影，只有搞清楚 BlockManager 的原理和机制，你才能更加深入的理解 spark。

0

Spark Connector Reader 原理与实践

NebulaGraph 2020-12-17 发布于 Nebula 的图数据库世界
收藏

Spark Connector 是一个 Spark 的数据连接器，可以通过该连接器进行外部数据系统的读写操作，Spark Connector 包含两部分，分别是 Reader 和 Writer，而本文侧重介绍 Spark Connector Reader，Writer 部分将在下...

0

Apache Kylin 4.0精确去重的全局字典原理

淡蘫铯の迗悾 2020-12-15 发布于 self.文章
收藏

在大规模数据集下，要想做到精确去重还要保证查询快速响应还是很有挑战性的。我们知道精确去重经常用到的处理方式就是位图法(Bit map)。对于整型数据，我们可以将统计信息保存在Bit map中，但是实际处理的数据中...

0

Kylin on Parquet 介绍和快速上手

淡蘫铯の迗悾 2020-12-15 发布于 self.文章
收藏

转载自Apache Kylin公众号(作者也是我)：原文链接，该文章是2020年4月18号Kylin on Parquet介绍及快速上手线上meepup分享的总结文章。因为Kylin on Parquet目前还在不停地迭代发展，所以此处也对原文中的部分地方...

0

Kylin 4.0 TopN实现原理介绍

淡蘫铯の迗悾 2020-12-15 发布于 self.文章
收藏

Apache Kylin 是一个开源的分布式分析引擎，提供 Hadoop 之上的 SQL 查询接口及多维分析（OLAP）能力以支持超大规模数据。它能在亚秒内查询巨大的数据集。

0

用java实现spark的rdd接口

淡蘫铯の迗悾 2020-12-15 发布于 self.文章
收藏

本文基于文章 [链接]，感谢原作者，再次我又对spark常用的rdd java接口用lambda表达式重新实现了一遍，代码更简洁。 {代码...}

推广链接

相关标签