spark 的文章 - SegmentFault 思否

0

Spark HA集群搭建

CharlesCheung 8月6日发布于
收藏

本教程基于Hadoop HA集群搭建。版本介绍 software version OS CentOS-7-x86_64-DVD-1810.iso Hadoop hadoop-2.8.4 Zookeeper zookeeper-3.4.10 Spark spark-2.4.3 集群角色分配 node actor master1 NameNode、DF...

0

5分钟在PAI算法市场发布自定义算法

阿里云云栖社区 8月1日发布于
收藏

在人工智能领域存在这样的现象，很多用户有人工智能的需求，但是没有相关的技术能力。另外有一些人工智能专家空有一身武艺，但是找不到需求方。这意味着在需求和技术之间需要一种连接作为纽带。

2

HBase统计

小鸡 7月17日发布于
1 收藏

执行hive统计sql即可这边使用COUNT(1)和COUNT(*)都不起作用，统计出来是0.只能使用COUNT(字段)。应该跟映射机制有关系。 SELECT COUNT(ID) FROM LJKTEST;

2

HBase二级索引方案

小鸡 7月17日发布于
1 收藏

HBase二级索引方案 [TOC] 使用HBase Coprocessor方案测试案例需求：在原表LJK_TEST上，将mycf:name作为二级索引。第一步创建一张索引表 create 'INDEX_LJK_TEST','mycf' 第二步写代码 {代码...} 第三步将jar...

4

【译】用SQL统一所有：一种有效的、语法惯用的流和表管理方法

阿里云云栖社区 7月16日发布于
1 收藏

现在还没有一个统一的流式SQL语法标准，各家都在做自己的。本文在一些业界应用的基础上提出了一个统一SQL语法的建议。Spark同样存在这个问题，社区版本在流式SQL上迟迟没有动作。EMR Spark在今年上半年提供了自己...

0

使用Spark Streaming SQL基于时间窗口进行数据统计

阿里云云栖社区 7月8日发布于
收藏

流式计算一个很常见的场景是基于事件时间进行处理，常用于检测、监控、根据时间进行统计等系统中。比如埋点日志中每条日志记录了埋点处操作的时间，或者业务系统中记录了用户操作时间，用于统计各种操作处理的频...

0

EMR Spark Runtime Filter性能优化

阿里云云栖社区 7月5日发布于
收藏

Join是一个非常耗费资源耗费时间的操作，特别是数据量很大的情况下。一般流程上会涉及底层表的扫描/shuffle/Join等过程, 如果我们能够尽可能的在靠近源头上减少参与计算的数据，一方面可以提高查询性能，另一方面...

2

大数据学习路线

黑白影 7月4日发布于
2 收藏

上图是一个简化的大数据处理流程图，大数据处理的主要流程包括数据收集、数据存储、数据处理、数据应用等主要环节。下面我们逐一对各个环节所需要的技术栈进行讲解：

3

用Flink取代Spark Streaming！知乎实时数仓架构演进

阿里云云栖社区 6月28日发布于
3 收藏

“数据智能” (Data Intelligence) 有一个必须且基础的环节，就是数据仓库的建设，同时，数据仓库也是公司数据发展到一定规模后必然会提供的一种基础服务。从智能商业的角度来讲，数据的结果代表了用户的反馈，获取...

0

Spark shuffle演进

Wish大人 6月28日发布于
收藏

Shuffle就是将不同节点上相同的Key拉取到一个节点的过程。这之中涉及到各种IO，所以执行时间势必会较长。对shuffle的优化也是spark job优化的重点。

0

大数据面试题

SkinnyTracy 6月27日发布于
收藏

第一阶段：1.scala闭包2.jdk版本3.mysql版本4.垃圾回收器 CMS G1 HBASE笔试部分：

0

Spark History Server配置

Wish大人 6月27日发布于
收藏

其中spark.eventLog.dir保存日志相关信息的路径，可以是hdfs://开头的HDFS路径，也可以是file://开头的本地路径，都需要提前创建。

0

Spark源码拜读（一）

Wish大人 6月27日发布于
收藏

RDD从一个样子转换成另一个状态，代码执行了，啥也没干，到了最后一步一下干了！懒加载是怎么做到的？打开RDD.scala，看最基础的map方法

0

Spark内置图像数据源初探

阿里云云栖社区 6月27日发布于
收藏

作者：林武康，花名知瑕, 阿里巴巴计算平台事业部EMR团队的高级开发工程师，Apache HUE Contributor, 参与了多个开源项目的研发工作，对于分布式系统设计应用有较丰富的经验，目前主要专注于EMR数据开发相关的产...

0

Spark系列——从零学习SparkSQL编程（上）

黑马程序员广州 6月26日发布于
收藏

文章来源于公总号黑马程序员广州中心（itheimagz）,已获得转载授权转载