Google 发表的三驾马车(既谷歌文件系统 GFS、MapReduce 和 BigTable)论文,被誉为计算机科学进入大数据时代的标志。因早期 Hadoop 开发者,只实现了 Hadoop 文件系统和 Hadoop MapReduce,并未实现 BigTable,...
Spark 中所有 transformation 算子是通过分发到多个节点上的并行任务实现运行并行化的。当将一个自定义函数传递给 Spark 算子时(比如map或reduce),该函数所包含的变量会通过副本方式传播到远程节点上。但所有针...
RDD(Resilient Distributed Dataset)叫做弹性分布式数据集,是Spark中最基本的数据抽象,代表一个不可变、可分区、里面的元素可并行计算的集合。
Spark系列文章(三):搭建Spark开发环境IDEA 作者:studytime原文:[链接] 一、创建maven工程 二、设置groupId和artifactId 三、设置工程目录 四、构建完成 五、上传项目至github {代码...} 出现以下问题: 主要原...
Spark系列文章(二):Spark伪分布式安装 作者:studytime原文:[链接] 下载 Spark 安装包 官网下载 http://spark.apache.org/downloads.html 安装前准备 Java8 已安装 hadoop2.7.5 已安装 修改 Hadoop 配置文件 ...
spark 是高性能 DAG 计算引擎,一个实现快速通用的集群计算平台。它是由加州大学伯克利分校AMP 实验室开发的通用内存并行计算框架,用来构建大型的、低延迟的数据分析应用程序。它扩展了广泛使用的 MapReduce 计...
HTTP协议(超文本传输协议)是互联网上应用最为广泛的一种网络协议,常被用于在web浏览器和网站服务器之间传递信息,http协议传输数据是以明文方式进行传送,如果中途被截获,就可以读取其中的信息。还记得之前公...
每个人都应该要有自己的博客,下面介绍下自己使用jekyll在GitHub Pages部署搭建个人博客的内容
Mac 修改系统默认Java版本 作者:studytime原文:[链接] 流程方法 查看当前版本,终端输入 java -version 查看存在的java sdk版本 进入目录/Library/Java/JavaVirtualMachines 复制需要更改的java sdk所在目录更...
PHP_CodeSniffer是一个优秀的代码风格检测工具,定义了一系列的代码规范(通常使用官方的代码规范标准,比如PHP的PSR2),能够检测出不符合代码规范的代码并发出警告或报错(可设置报错等级),常被用作团队开发时维护编...
1.安装redis扩展 下载redis扩展包以及解压 {代码...} 进入解压后目录,编译安装 {代码...} 出现问题 {代码...} 开始编译裤子韩 {代码...} 查找php-config {代码...} 配置环境 {代码...} 编译安装 {代码...} 配置p...
安装前准备 {代码...} 下载源码包以及解压 {代码...} 编译安装 {代码...} make install 后,会在/usr/local/bin目录底下生成多个可执行文件。 {代码...} 配置前准备 {代码...} 配置 {代码...} 修改配置文件 {代码...
iTerm2支持许多的主题配色,可以自己定义,也可以参考网上现成的主题配色。我个人比较喜欢draculatheme配色。支持item,vim,phpstorm , 下方存在主题官网路径,按照教程安装即可。
3.php编译安装 添加用户 {代码...} 下载解压安装包 {代码...} 安装依赖 {代码...} 编译安装 {代码...} 建立软链 {代码...} 对php-fpm运行用户进行设置 {代码...} 建立软链 {代码...} 配置环境变量,加入全局命令 ...
nginx编译安装 准备工作 {代码...} 添加用户 {代码...} 新建安装包存放目录 {代码...} 下载安装包解压 {代码...} 安装依赖扩展 {代码...} 设置系统资源限制 {代码...} 编译安装 {代码...} 启动nginx {代码...} 查...
大数据相关知识、项目研发经验分享。