Google DataFlow无法在不同的位置读取和写入(Python SDK v0.5.5)


问题内容

我正在使用Python SDK
v0.5.5编写非常基本的DataFlow管道。管道将BigQuerySource与传入的查询一起使用,该查询是从驻留在EU中的数据集中查询BigQuery表。

执行管道时,出现以下错误(项目名称已匿名):

HttpError: HttpError accessing <https://www.googleapis.com/bigquery/v2/projects/XXXXX/queries/93bbbecbc470470cb1bbb9c22bd83e9d?alt=json&maxResults=10000>: response: <{'status': '400', 'content-length': '292', 'x-xss-protection': '1; mode=block', 'x-content-type-options': 'nosniff', 'transfer-encoding': 'chunked', 'expires': 'Thu, 09 Feb 2017 10:28:04 GMT', 'vary': 'Origin, X-Origin', 'server': 'GSE', '-content-encoding': 'gzip', 'cache-control': 'private, max-age=0', 'date': 'Thu, 09 Feb 2017 10:28:04 GMT', 'x-frame-options': 'SAMEORIGIN', 'alt-svc': 'quic=":443"; ma=2592000; v="35,34"', 'content-type': 'application/json; charset=UTF-8'}>, content <{
 "error": {
  "errors": [
   {
    "domain": "global",
    "reason": "invalid",
    "message": "Cannot read and write in different locations: source: EU, destination: US"
   }
  ],
  "code": 400,
  "message": "Cannot read and write in different locations: source: EU, destination: US"
 }
}

指定项目,数据集和表名称时,也会发生该错误。但是,从可用的公共数据集(位于美国-
如莎士比亚)中选择数据时没有错误。我也有运行SDK的v0.4.4的作业,没有此错误。

这些版本之间的区别在于创建了临时数据集,如管道启动时的警告所示:

WARNING:root:Dataset does not exist so we will create it

我简要介绍了SDK的不同版本,不同之处似乎在于此临时数据集。看起来当前版本默认情况下会创建一个临时数据集,其位置在美国(取自母版):

我还没有找到一种方法来禁用这些临时数据集的创建。我是否正在忽略某些东西,或者从EU数据集中选择数据时,这确实不再起作用了吗?


问题答案:

感谢您报告此问题。我假设您正在使用DirectRunner。我们更改了针对DirectRunner的BigQuery读取转换的实现,以创建临时数据集(适用于SDK版本0.5.1和更高版本)以支持大型数据集。好像我们在这里没有正确设置区域。我们将研究解决此问题。

如果您使用DataflowRunner在正确的区域中创建临时数据集,则不会发生此问题。