Apache Storm可以互相沟通吗?
我有另一个进程抛出文件的目录。
我们目前的Storm实现读取这个目录并选择最旧的文件并打开一个阅读器到文件。 该阅读器作为喷口内的字段保存,因此当调用nextTuple()时,将从该文件输出一行。 一旦喷口完成读取,关闭读取器并将新读取器打开到新文件。
为了提高吞吐量,一个想法是让多个喷口一次读取多个文件,因为这些喷口将争夺相同目录中的相同文件,是否有方法在喷口之间进行通信,以便他们可以协商读取哪些文件? (或者有一个将文件分配给喷嘴的总经理)。
目录和文件存储并从HDFS中读取。
我认为开箱即可,无法让两个喷嘴一起交流。 但是,你应该尝试https://github.com/ptgoetz/storm-signals
有一个BaseSignalSpout依靠zookeeper在风暴组件之间发送消息。
希望这个帮助!
链接地址: http://www.djcxy.com/p/22931.html