之前在学习flink的过程中记录过flink的checkpoint机制，今天主要来记录一下spark的checkpoint机制，结合源码来分析一下整体的流程。

CountDownLatch中count down是倒数的意思，latch则是门闩的含义。整体含义可以理解为倒数的门栓，似乎有一点“三二一，芝麻开门”的感觉。CountDownLatch的作用也是如此，在构造CountDownLatch的时候需要传入一个整数n，在这个整数“倒数”到0之前，主线程需要等待在门口，而这个“倒数”过程则是由各个执行线程驱动的，每个线...

配置zookeeper 进入zookerper-3.4.7目录，执行 {代码...} 配置文件如下： {代码...} 修改完成后拷贝配置内容，依次复制到其他Server下 {代码...} 创建目录 {代码...} 建立Zookeeper节点标识文件myid 创建myid编号，依次在每台Server上执行，注意每台Server的myid要对应正确的编号 {代码...} 配置环境变量并使环境变量立...

给定两个整数，被除数 dividend 和除数 divisor。将两数相除，要求不使用乘法、除法和 mod 运算符。 返回被除数 dividend 除以除数 divisor 得到的商。 示例 1: 输入: dividend = 10, divisor = 3输出: 3示例 2: 输入: dividend = 7, divisor = -3输出: -2说明: 被除数和除数均为 32 位有符号整数。除数不为 0。假设我们...

{代码...}

{代码...} {代码...} {代码...} {代码...} {代码...} {代码...} {代码...} {代码...} {代码...} {代码...} {代码...} {代码...} {代码...} {代码...} {代码...}

给定两个非空链表来表示两个非负整数。位数按照逆序方式存储，它们的每个节点只存储单个数字。将两数相加返回一个新的链表。 你可以假设除了数字 0 之外，这两个数字都不会以零开头。 示例： {代码...} java解法: {代码...}

题目: 删除排序数组中的重复项 I 给定一个排序数组，你需要在原地删除重复出现的元素，使得每个元素只出现一次，返回移除后数组的新长度。 不要使用额外的数组空间，你必须在原地修改输入数组并在使用 O(1) 额外空间的条件下完成。 示例 1: 给定数组 nums = [1,1,2], 函数应该返回新的长度 2, 并且原数组 nums 的前两个...

精简的Shell {代码...} Scala {代码...} 反人类的MapReduce {代码...} 好用的spark {代码...}

题目: 给定一个字符串，找出不含有重复字符的最长子串的长度。 示例 1: {代码...} 示例 2: {代码...} 示例 3: {代码...} 第一想法: java: {代码...} scala: {代码...} 参考的优化方案: {代码...} {代码...}

题目 给定一个只包括 '('，')'，'{'，'}'，'['，']' 的字符串，判断字符串是否有效。 有效字符串需满足： 左括号必须用相同类型的右括号闭合。左括号必须以正确的顺序闭合。注意空字符串可被认为是有效字符串。 示例 示例 1: 输入: "()"输出: true示例 2: 输入: "([]){}"输出: true示例 3: 输入: "(]"输出: false示例 4:...

服务器集群 hostname IP user password path os node01 192.168.218.110 hadoop java /hadoop Centos7 node02 192.168.218.120 hadoop java /hadoop Centos7 node03 192.168.218.130 hadoop java /hadoop Centos7 <span id="Plan">集群规划</span> node01 node02 node03 namenode namenode datanode datanod...

给定一个整数数组和一个目标值，找出数组中和为目标值的两个数。 你可以假设每个输入只对应一种答案，且同样的元素不能被重复利用。 示例: {代码...} 1.第一想法 双层for循环 java: {代码...} scala: {代码...} 2.第二想法 映射表实现java: {代码...} scala: {代码...}