storm 的文章 - SegmentFault 思否

storm

Storm是一个分布式计算框架，主要由Clojure编程语言编写。最初是由Nathan Marz及其团队创建于BackType，该项目在被Twitter取得后开源。它使用用户创建的“管（spouts）”和“螺栓（bolts）”来定义信息源和操作来允许...[ 百科 ]

+ 提问题

大数据系列——Storm安装和API

EVAO_大个子 2 天前发布于
收藏

1. 实时计算有别于传统的离线批处理操作(对很多数据的集合进行的操作) 实时处理，说白就是针对一条一条的数据/记录进行操作实时计算计算的是无界数据 2. 有界数据和无界数据 2.1 有界数据离线计算面临的操作数...

Storm安装笔记

怪兽 4月4日发布于
1 收藏

JDK 1.7.0_80 It is strongly recommended to use Oracle JDK rather than OpenJDK.

[case47]聊聊flink的BoltWrapper

codecraft 2018年11月25日发布于
收藏

flink-storm_2.11-1.6.2-sources.jar!/org/apache/flink/storm/wrappers/BoltWrapper.java

聊聊flink的SpoutWrapper

codecraft 2018年11月24日发布于
收藏

flink-storm_2.11-1.6.2-sources.jar!/org/apache/flink/storm/wrappers/SpoutWrapper.java

聊聊flink如何兼容StormTopology

codecraft 2018年11月23日发布于
收藏

这里使用FlinkLocalCluster.getLocalCluster()来创建或获取FlinkLocalCluster，之后调用FlinkLocalCluster.submitTopology来提交topology，结束时通过FlinkLocalCluster.shutdown来关闭cluster

聊聊flink LocalEnvironment的execute方法

codecraft 2018年11月21日发布于
收藏

这里使用DataSet从csv读取数据，然后进行flatMap、groupBy、sum操作，最后调用print输出

聊聊storm的OpaquePartitionedTridentSpoutExecutor

codecraft 2018年11月20日发布于
收藏

本文主要研究一下storm的OpaquePartitionedTridentSpoutExecutor

聊聊storm的ICommitterTridentSpout

codecraft 2018年11月19日发布于
收藏

storm-core-1.2.2-sources.jar!/org/apache/storm/trident/spout/ICommitterTridentSpout.java

[case46]聊聊storm trident spout的_maxTransactionActive

codecraft 2018年11月18日发布于
收藏

storm-core-1.2.2-sources.jar!/org/apache/storm/trident/topology/MasterBatchCoordinator.java

聊聊storm trident batch的分流与聚合

codecraft 2018年11月17日发布于
收藏

b-1主要是处理CombinerAggregator的init，它的parallelismHint为1，由于它的上游bolt有3个task，因而它的TridentBoltExecutor的tracked.condition.expectedTaskReports为3，它要等到这三个task的聚合数据都到了之...