spark 的文章 - SegmentFault 思否

2

实时计算框架：Flink集群搭建与运行机制

知了一笑 5月9日发布于 self.文章
2 收藏

Flink是一个框架和分布式处理引擎，用于对无界和有界数据流进行有状态计算。Flink被设计在所有常见的集群环境中运行，以内存执行速度和任意规模来执行计算。主要特性包括：批流一体化、精密的状态管理、事件时间...

0

实时计算框架：Spark集群搭建与入门案例

知了一笑 4月26日发布于 self.文章
收藏

Spark是专为大规模数据处理而设计的，基于内存快速通用,可扩展的集群计算引擎，实现了高效的DAG执行引擎,可以通过基于内存来高效处理数据流，运算速度相比于MapReduce得到了显著的提高。

1

Hadoop是否会被Spark取代？Hadoop生态组件原理解析

录信数软 4月19日发布于 self.文章
收藏

Hadoop和Spark都是目前主流的大数据框架，但是随着Spark在速度和易用性方面表现出的优势，一些国内外专家逐渐推崇Spark技术，并且认为Spark才是大数据的未来。本文将会浅析Hadoop生态的发展历程及其中部分组件的...

0

Cannot find package module sap/cds/common

JerryWang_汪子熙 4月11日发布于 Jerry Wang的SAP技术专栏
收藏

我在做SAP Cloud Application Programming 练习时，执行下列两条命令后：cds init bookshopcds watch bookshop遇到这一条错误消息：cannot find package module @sap/cds/commonnpm install之后，问题解决，现在...

0

Spark内存管理机制

farAway 4月9日发布于 self.文章
收藏

Spark 作为一个基于内存的分布式计算引擎，其内存管理模块在整个系统中扮演着非常重要的角色。理解 Spark 内存管理的基本原理，有助于更好地开发 Spark 应用程序和进行性能调优。本文旨在梳理出 Spark 内存管理的...

0

你的Parquet该升级了：IOException: totalValueCount == 0问题定位之旅

华为云开发者社区 4月6日发布于开发者之家
收藏

摘要：使用Spark SQL进行ETL任务，在读取某张表的时候报错：“IOException: totalValueCount == 0”，但该表在写入时，并没有什么异常。

0

Spark性能调优-Shuffle调优及故障排除篇

My-sunmy 3月24日发布于 self.文章
收藏

本节开始先讲解Shuffle核心概念；然后针对HashShuffle、SortShuffle进行调优；接下来对map端、reduce端调优；再针对Spark中的数据倾斜问题进行剖析及调优；最后是Spark运行过程中的故障排除。

0

Scala实现Spark环境下的决策树模型工程

farAway 3月22日发布于 self.文章
收藏

在集团数据挖掘项目下，用户画像工程需要开发很多基础标签，如年龄、性别、婚姻状况、资产情况等标签。这些标签不能使用集团下的各个数据源来简单的处理后，得到结果作为最终评价结果，因为不同数据源的数据质量...

0

Spark Connector Writer 原理与实践

NebulaGraph 3月19日发布于 Nebula 的图数据库世界
收藏

在《Spark Connector Reader 原理与实践》中我们提过 Spark Connector 是一个 Spark 的数据连接器，可以通过该连接器进行外部数据系统的读写操作，Spark Connector 包含两部分，分别是 Reader 和 Writer，而本文...

0

上万字详解Spark Core（建议收藏）

My-sunmy 3月18日发布于 self.文章
收藏

🧡先来一个问题，也是面试中常问的：Spark为什么会流行？本文首发在公众号：五分钟学大数据，专注于大数据技术研究。原因1：优秀的数据模型和丰富计算抽象Spark 产生之前，已经有MapReduce这类非常成熟的计算系统...

0

自定义UDF函数vector_trans：遍历两个数组，将其转为目标向量数组（XGBoost模型）

farAway 3月18日发布于 self.文章
收藏

集团数据挖掘项目下，用户画像工程需要开发一些基础标签，如年龄、性别、婚姻状况、有车、有房、资产情况等。这些标签不能简单的使用集团下的各个数据作为最终评价结果，因为不同数据的置信度情况不一样。因此我...

0

Spark参数调优

farAway 3月17日发布于 self.文章
收藏

Shuffle操作大概是对Spark性能影响最大的步骤之一（因为可能涉及到排序，磁盘IO，网络IO等众多CPU或IO密集的操作），这也是为什么在Spark 1.1的代码中对整个Shuffle框架代码进行了重构，将Shuffle相关读写操作抽...

0

SparkSql源码-物理执行计划节点操作

farAway 3月17日发布于 self.文章
收藏

Catalyst作为一个实现无关的查询优化框架，在优化后的逻辑执行计划到真正的物理执行计划这部分只提供了接口，没有提供像Analyzer和Optimizer那样的实现。

0

Spark的五种JOIN策略

farAway 3月15日发布于 self.文章
收藏

JOIN操作是非常常见的数据处理操作，Spark作为一个统一的大数据处理引擎，提供了非常丰富的JOIN场景。本文分享将介绍Spark所提供的5种JOIN策略，希望对你有所帮助。本文主要包括以下内容：

0

HiveSql/SparkSQL常用函数

farAway 3月15日发布于 self.文章
收藏

dayofweek (1 = Sunday, 2 = Monday, …, 7 = Saturday),dayofyearExamples: