Apache Storm可以互相沟通吗?

我有另一个进程抛出文件的目录。

我们目前的Storm实现读取这个目录并选择最旧的文件并打开一个阅读器到文件。 该阅读器作为喷口内的字段保存,因此当调用nextTuple()时,将从该文件输出一行。 一旦喷口完成读取,关闭读取器并将新读取器打开到新文件。

为了提高吞吐量,一个想法是让多个喷口一次读取多个文件,因为这些喷口将争夺相同目录中的相同文件,是否有方法在喷口之间进行通信,以便他们可以协商读取哪些文件? (或者有一个将文件分配给喷嘴的总经理)。

目录和文件存储并从HDFS中读取。


我认为开箱即可,无法让两个喷嘴一起交流。 但是,你应该尝试https://github.com/ptgoetz/storm-signals

有一个BaseSignalSpout依靠zookeeper在风暴组件之间发送消息。

希望这个帮助!

链接地址: http://www.djcxy.com/p/22931.html

上一篇: Can Apache Storm spouts communicate with each other?

下一篇: TypeError: Cannot read property 'then' of undefined