spark 的文章 - SegmentFault 思否

0

PY => PySpark-Spark SQL

Cython_lin 11月24日发布于
收藏

Spark SQL Spark SQL 分为三类： SQL DataFrame (参考pandas，但略有不同) Datasets (由于python是动态的，所以不支持python) 初始环境： {代码...} 从json导入为df: {代码...} 打印DF字段信息： {代码...} CRUD ...

0

基于 Tracing 数据的拓扑关系生成原理

阿里云云栖号 11月20日发布于
收藏

随着互联网架构的流行，越来越多的系统开始走向分布式化、微服务化。如何快速发现和定位分布式系统下的各类性能瓶颈成为了摆在开发者面前的难题。借助分布式追踪系统的调用链路还原能力，开发者可以完整地了解一...

0

Delta Lake 删除实现

过往记忆大数据 11月17日发布于
收藏

Delta Lake 的 Delete 功能是由 0.3.0 版本引入的，参见这里，对应的 Patch 参见这里。在介绍 Apache Spark Delta Lake 实现逻辑之前，我们先来看看如何使用 delete 这个功能。

0

Scala并发编程实战 - 2：Lock 锁

Liam 11月16日发布于
收藏

synchronized作为内置锁，使用简单，不易出错，然鹅确有相当的局限性，例如，无法从等待获取锁的阻塞中中断，无法设置获取锁的超时。所以JUC提供了另一种更灵活的加锁方式，即Lock。

0

spark概念强化

肖圣贤 11月12日发布于
收藏

概念 Transformation {代码...} 分类 {代码...} Action {代码...} 辨析 map() VS flatmap() {代码...} map() VS mapPartitions() {代码...} mapPartitions() VS mapPartitionsWithIndex() {代码...} reduce() VS ...

0

Scala并发编程实战：Monitor与synchronized

Liam 11月11日发布于
收藏

Java并发编程最常用和易用的技术莫过于synchronized关键字，而Scala的并发编程之旅也可以从synchronized开始。而synchronized的背后其实是monitor技术。

1

Spark Relational Cache实现亚秒级响应的交互式分析

阿里云云栖号 11月5日发布于
1 收藏

本场视频链接：[链接] 本场PPT资料：[链接] 本次分享主要分为以下四个方面：项目介绍技术分析如何使用性能分析一、项目介绍项目背景阿里云EMR是一个开源大数据解决方案，目前EMR上面已经集成了很多开源组...

0

Spark框架：Win10系统下搭建Scala开发环境

知了一笑 11月1日发布于
收藏

一、Scala环境基础 Scala对Java相关的类，接口进行了包装，所以依赖Jvm环境。 {代码...} 二、配置Scala解压版 1）注意路径无空格和中文 2）配置环境变量添加到path目录 {代码...} 3）检测是否安装配置成功，没...

0

PY => PySpark-Spark Core（RDD）

Cython_lin 10月30日发布于
收藏

前言第一篇传送门：[链接] RDD认知 RDD是什么？ RDD: 弹性分布式数据集（Resiliennt Distributed Datasets）转为格式RDD的几种方式： {代码...} RDD核心概念 Application: {代码...} Driver: {代码...} Worker ...

0

PY => Ubuntu-Hadoop-YARN-HDFS-Hive-Spark安装配置

Cython_lin 10月29日发布于
收藏

Java 8Python 3.7Scala 2.12.10Spark 2.4.4hadoop 2.7.7hive 2.3.6mysql 5.7mysql-connector-java-5.1.48.jar

0

Scala并发编程实战：Executor线程池

Liam 10月28日发布于
收藏

创建线程是一个重量级操作，因为需要调用操作系统内核的API，所以最好不要频繁的创建和销毁线程，为了能够复用创建的线程，常用的办法的就是创建线程池。

0

Spark Core 解析：RDD

Liam 10月28日发布于
收藏

Spark Core是Spark的核心部分，是Spark SQL，Spark Streaming，Spark MLlib等等其他模块的基础, Spark Core提供了开发分布式应用的脚手架，使得其他模块或应用的开发者不必关心复杂的分布式计算如何实现，只需使...

0

Redis Streams与Spark的完美结合

中间件小哥 10月17日发布于
收藏

最近，我有幸在 Spark +AI 峰会上发表了题目为“Redis + Structured Streaming：扩展您的持续应用的完美组合”的演讲。

0

SparkStreaming整合Flume的pull报错解决方案

彪悍大蓝猫 10月16日发布于
收藏

先说下版本情况：Spark 2.4.3Scala 2.11.12Flume-1.6.0 Flume配置文件： {代码...} 启动脚本： {代码...} 到以上步骤均没有出现问题。但是将本地测试代码启动，尝试与Flume的sink进行连接时，崩了... Flume控制台...

0

SparkStreaming整合Flume的pull方式之启动报错解决方案

彪悍大蓝猫 10月16日发布于
收藏

由于用到了agent的sink是 org.apache.spark.streaming.flume.sink.SparkSink类型，需要把spark-streaming-flume-sink_2.11-2.4.3.jar复制到flume的lib目录，否则，会报找不到org.apache.spark.streaming.flume.si...