由Word Count入门Apache Storm

Storm是一个分布式流处理框架。

入门

Word count作为分布式的"hello world"， 这里由word count引出Storm的topology概念。

问题

有一系列DNS查询，需要统计被查询最多次的域名

从函数式编程的角度来讲，可以把算法归纳为下图

即为
h ( g ( f (data) ) )

转换为Storm topology

概念

• Topology：拓扑结构

• Spout：spout作为整个拓扑的数据源，一个topology中可能存在多个数据源。上图中即为提供DNS查询的数据源

• Bolt： bolt是topology中的基本数据处理单元。上图中，即为f,g,h三个函数。

• Tuple: 基本数据单元。例 （1.1.1.1， "foo.com"）

• Stream: 无止境一串的tuple流 ... (2.2.2.2, “bar.net”)， (3.3.3.3, “foo.com”)， (4.4.4.4, “foo.com”) ...

Stream Grouping 常用分组方式

• Shuffle grouping
  随机分配tuple给后续节点

• Fields grouping
  根据定义的fields字段，将相同key值的字段分配给同一后续节点。常用于统计同一key值的数量

• All grouping

Storm和Hadoop的区别

Hadoop主要用来处理batch（批处理）数据， Storm主要用来处理Stream（流式）数据。 主要区别如下图所示：