storm 的文章 - SegmentFault 思否

storm

Storm是一个分布式计算框架，主要由Clojure编程语言编写。最初是由Nathan Marz及其团队创建于BackType，该项目在被Twitter取得后开源。它使用用户创建的“管（spouts）”和“螺栓（bolts）”来定义信息源和操作来允许...[ 百科 ]

+ 提问题

58 集团大规模 Storm 任务平滑迁移至 Flink 的秘密

阿里云云栖社区 8月6日发布于
收藏

Flink-Storm 是 Flink 官方提供的用于 Flink 兼容 Storm 程序 beta 工具，并且在 Release 1.8 之后去掉相关代码。本文主要讲述 58 实时计算平台如何优化 Flink-Storm 以及基于 Flink-Storm 实现真实场景下大规模 ...

EMQ 边缘消息服务器管理套件 EMQ X Storm 发布

EMQX 8月3日发布于
收藏

继 2019 年 1 月 25 日 EMQ 首款边缘计算产品 EMQ X Edge （EMQ X 边缘消息服务器）发布之后，4 月 19 日 EMQ 发布了一个与 EMQ X Edge 协同工作的新产品 EMQ X Storm。该产品旨在打造一个便捷、高效、稳定的集中...

大数据学习路线

黑白影 7月4日发布于
3 收藏

上图是一个简化的大数据处理流程图，大数据处理的主要流程包括数据收集、数据存储、数据处理、数据应用等主要环节。下面我们逐一对各个环节所需要的技术栈进行讲解：

大数据系列——Storm安装和API

EVAO_大个子 6月14日发布于
收藏

1. 实时计算有别于传统的离线批处理操作(对很多数据的集合进行的操作) 实时处理，说白就是针对一条一条的数据/记录进行操作实时计算计算的是无界数据 2. 有界数据和无界数据 2.1 有界数据离线计算面临的操作数...

Storm安装笔记

怪兽 4月4日发布于
1 收藏

JDK 1.7.0_80 It is strongly recommended to use Oracle JDK rather than OpenJDK.

[case47]聊聊flink的BoltWrapper

codecraft 2018-11-25 发布于
收藏

flink-storm_2.11-1.6.2-sources.jar!/org/apache/flink/storm/wrappers/BoltWrapper.java

聊聊flink的SpoutWrapper

codecraft 2018-11-24 发布于
收藏

flink-storm_2.11-1.6.2-sources.jar!/org/apache/flink/storm/wrappers/SpoutWrapper.java

聊聊flink如何兼容StormTopology

codecraft 2018-11-23 发布于
收藏

这里使用FlinkLocalCluster.getLocalCluster()来创建或获取FlinkLocalCluster，之后调用FlinkLocalCluster.submitTopology来提交topology，结束时通过FlinkLocalCluster.shutdown来关闭cluster

聊聊flink LocalEnvironment的execute方法

codecraft 2018-11-21 发布于
收藏

这里使用DataSet从csv读取数据，然后进行flatMap、groupBy、sum操作，最后调用print输出

聊聊storm的OpaquePartitionedTridentSpoutExecutor

codecraft 2018-11-20 发布于
收藏

本文主要研究一下storm的OpaquePartitionedTridentSpoutExecutor

聊聊storm的ICommitterTridentSpout

codecraft 2018-11-19 发布于
收藏

storm-core-1.2.2-sources.jar!/org/apache/storm/trident/spout/ICommitterTridentSpout.java

[case46]聊聊storm trident spout的_maxTransactionActive

codecraft 2018-11-18 发布于
收藏

storm-core-1.2.2-sources.jar!/org/apache/storm/trident/topology/MasterBatchCoordinator.java

聊聊storm trident batch的分流与聚合

codecraft 2018-11-17 发布于
收藏

b-1主要是处理CombinerAggregator的init，它的parallelismHint为1，由于它的上游bolt有3个task，因而它的TridentBoltExecutor的tracked.condition.expectedTaskReports为3，它要等到这三个task的聚合数据都到了之...

聊聊storm TridentBoltExecutor的finishBatch方法

codecraft 2018-11-16 发布于
收藏