Google 发表的三驾马车（既谷歌文件系统 GFS、MapReduce 和 BigTable）论文，被誉为计算机科学进入大数据时代的标志。因早期 Hadoop 开发者，只实现了 Hadoop 文件系统和 Hadoop MapReduce，并未实现 BigTable，故而 BigTable 在Hadoop 大数据生态里面，相当一段时间里，一直是缺席的。直到 PowerSet 公司推出 Hbase 项...

Spark 中所有 transformation 算子是通过分发到多个节点上的并行任务实现运行并行化的。当将一个自定义函数传递给 Spark 算子时（比如map或reduce）,该函数所包含的变量会通过副本方式传播到远程节点上。但所有针对这些变量的写操作只会更新到本地，不会传递回驱动程序以及分布式更新，通常跨任务的读写变量是低效的。故...

RDD（Resilient Distributed Dataset）叫做弹性分布式数据集，是Spark中最基本的数据抽象，代表一个不可变、可分区、里面的元素可并行计算的集合。

Spark系列文章（三）:搭建Spark开发环境IDEA 作者：studytime原文：[链接] 一、创建maven工程 二、设置groupId和artifactId 三、设置工程目录 四、构建完成 五、上传项目至github {代码...} 出现以下问题: 主要原因是github中的README.md文件不在本地代码目录中 通过以下方法解决: {代码...} 六、GitHub项目

Spark系列文章（二）:Spark伪分布式安装 作者：studytime原文：[链接] 下载 Spark 安装包 官网下载 http://spark.apache.org/downloads.html 安装前准备 Java8 已安装 hadoop2.7.5 已安装 修改 Hadoop 配置文件 修改 Hadoop yarn-site.xml配置 {代码...} 重启yarn服务 {代码...} 启动 MapReduce History Server {代码......

spark 是高性能 DAG 计算引擎，一个实现快速通用的集群计算平台。它是由加州大学伯克利分校AMP 实验室开发的通用内存并行计算框架，用来构建大型的、低延迟的数据分析应用程序。它扩展了广泛使用的 MapReduce 计算模型。高效的支撑更多计算模式，包括交互式查询和流处理。spark 的一个主要特点是能够在内存中进行计算，...

HTTP协议（超文本传输协议）是互联网上应用最为广泛的一种网络协议，常被用于在web浏览器和网站服务器之间传递信息，http协议传输数据是以明文方式进行传送，如果中途被截获，就可以读取其中的信息。还记得之前公司某一台医疗设备的登录界面被截获，页面上都是广告的情况。

从事互联网行业日久后，技术渐长，总想着写写，把自己回，让别人更多的看到自己。个人是这样想的哈哈。之前曾经自己使用laravel自己写了个项目，不了了之值。当时的感觉就会耗时不说，最重要的感觉上班在写，下班后继续写博客代码。失去了，做这件事情的本意（分享）。

Mac 修改系统默认Java版本 作者：studytime原文：[链接] 流程方法 查看当前版本，终端输入 java -version 查看存在的java sdk版本 进入目录/Library/Java/JavaVirtualMachines 复制需要更改的java sdk所在目录更新使用版本 export JAVA_HOME=/Library/Java/JavaVirtualMachines/jdk1.8.0_191.jdk/Contents/Home/ 查看更...

iTerm2支持许多的主题配色，可以自己定义，也可以参考网上现成的主题配色。我个人比较喜欢draculatheme配色。支持item，vim，phpstorm , 下方存在主题官网路径，按照教程安装即可。