Amazon Kinesis动态调整流大小

我正在研究Amazon Kinesis Api和Kinesis Client库,我创建了一个将数据放入流的生产者,并拥有多个使用者应用程序以从该流读取数据。

我有场景来根据输入流大小和输出流大小动态增加和减少流的大小,并且还使用消费者应用程序的计数。

我发现一些有用的来源来计算亚马逊网站的碎片数量,但没有得到如何计算。 源网址是:http://docs.aws.amazon.com/kinesis/latest/dev/how-do-i-size-a-stream.html

需要对此有所了解。

谢谢


AWS支持建议查看以下开源项目。 它是由其解决方案架构师之一创建的。

https://github.com/awslabs/amazon-kinesis-scaling-utils

它可以手动运行(cli)或自动运行(部署WAR)以随应用程序扩展/缩减。


您可以看看Themis,一个支持Atinesian开发的Kinesis流自动缩放的框架。 该工具非常易于配置,附带Web UI,并支持不同的自动缩放模式(例如,主动式和反应式自动缩放)。

(道歉在旧线程中发布,但对于发现此线程的读者来说,答案可能仍然很有趣。)


您可以使用Amazon Cloud Watch服务动态调整流大小,只需使用put.byteRecords和get.byteRecords等不同指标创建基于流的警报并检测警报状态。

之后,根据这些警报状态作为“ALARM”,使用重新分割增加您的流的容量,您可以执行相同的方案来降低流的容量。

欲了解更多信息,请访问此链接:http://docs.aws.amazon.com/kinesis/latest/dev/kinesis-using-api-java.html

链接地址: http://www.djcxy.com/p/68469.html

上一篇: Amazon Kinesis dynamically stream resize

下一篇: access denied for manifest file