大数据概论

大数据自学笔记

1.大数据兴起

第三次信息化浪潮。核心技术云计算、大数据、物联网

（第一次信心化浪潮伴随着个人计算机的出现，第二次信息化浪潮伴随着互联网的普及）

2.大数据前提条件

（1）硬件支持：CPU、存储空间、网络带宽的增加

（2）数据生成方式改变：运营系统生成（超市销售记录） -- 用户原创内容（微博、博客） -- 感知式系统阶段（物联网）（探头、摄像头等每时每刻生成数据）

3.大数据定义和特征

（1）volume：数据量大

（2）variety：数据的来源及格式多种多样

（3）velocity：数据增长速度快

（4）value：数据价值低

4.大数据的影响

通过大量数据的分析，判断出现了什么问题，而不是具体问题具体分析；不再需要抽样分析，只做全样数据分析；更加关注数据之间的相关性

5.大数据的应用

决策与预测

6.大数据关键技术

（1）分布式存储

（2）分布式处理

7.典型的计算模式

（1）批处理计算：mapreduce、spark

（2）流计算：数据是实时更新的，不能批处理，需要秒级响应

（3）图计算

（4）查询分析计算

8.物联网基础概念

（1）物和物相连，物和人相连。通过网络把现实世界中的物和人连接起来。

（2）物联网基础架构：感知层（摄像头、探头）-- 传输层（互联网）-- 处理层（数据处理）-- 应用层

（3）示例：掌上智能公交，通过GPS传输每个公交车的实时位置。

（4）关键技术。识别技术（识别现实中各个事物并唯一标识的能力）感知技术（公交卡芯片等依据电磁感应进行数据交互）
9.云计算基础概念
请参考云计算概论
(￣▽￣)