Amazon EC2现货实例车队使用AMI和通用文件

2018-06-23 23:21:06

我想使用自定义AMI（docker？）启动多个Amazon EC2现场实例（车队？），以执行深度学习培训任务。为了训练模型，我希望所有实例都共享一组通用文件。

当由于价格限制/需求导致现货实例被AWS终止时，这里的想法并不是失去培训历史并在EBS（网络驱动器？）中保留备份。任务状态可以在文件中更新，然后在实例可用时恢复。

是否有可能启动所有实例并让他们合作完成培训任务？什么样的设置可以实现这一点？

首先，您可能会对AWS Marketplace中的Deep Learning AMI感兴趣，它将通过深度学习工具进行全面配置。

如果您使用的软件希望将其数据保存到本地文件系统（而不是Amazon S3），则可以使用Deep Learning AMI在多个Amazon EC2实例（包括竞价型实例）之间共享文件系统。 Amazon EFS与NAS相似，可以跨多个实例同时使用。

EFS卷可以通过用户数据脚本进行挂载，还可以通过安装脚本加载和运行所需的应用程序（比创建新的AMI更容易）。

链接地址: http://www.djcxy.com/p/67173.html