从Google BigQuery导出到CloudSQL?
我想将BigQuery中的数据(即报告)转储到CloudSQL数据库中,以编程方式实现此目的的最佳方式是什么?
我意识到我可以通过运行BigQuery查询手动执行此操作,将其作为CSV下载,然后通过云控制台上传,但我希望以编程方式执行此操作,最好使用Python / SQL。
如果您想要转储整个表格,则可以使用BigQuery和Cloud SQL API的组合来实现此目的。
BigQuery文档在Python中提供了一个用于将BigQuery表提取到云存储的API示例。
一旦数据存储在云存储中,您就可以使用Cloud SQL Admin API将数据导入到MySQL表中。
如果您需要更细化的控制,则可以使用BigQuery API执行查询,获取结果,连接到Cloud SQL实例并插入数据。 如果数据量很大,这将不会如此。
更复杂的方法是使用Dataflow将您感兴趣的数据写入云存储并使用Cloud SQL API导入它。
(为了我自己的好奇心,您能描述一下在Cloud SQL而不是BigQuery中使用数据的用例吗?它可以帮助我/我们了解客户如何使用我们的产品以及我们可以改进的地方。)
链接地址: http://www.djcxy.com/p/91135.html