分页BigQuery


问题内容

我正在尝试创建与Google BigQuery仪表盘类似的东西,但带有预定义的查询/视图。我遇到的问题是分页数据。

资料表端点支持分页中,你可以指定一个起始索引或使用网页的道理,让我做这样的事情:

query_reply = table_data_job.list(projectId=settings.PROJECT_ID,
                                  datasetId=settings.DATASET_ID,
                                  tableId=table,
                                  startIndex=offset,
                                  maxResults=page_size).execute()

问题是我想运行特定的查询(或者至少要对表数据结果进行排序)。

query_data = {'query': 'SELECT * FROM my_dataset.foo_table LIMIT %s' % page_size}
query_reply = job_collection.query(projectId=settings.PROJECT_ID,
                                   body=query_data).execute()

据我所知,没有办法对上述代码进行补偿。这只是BigQuery不适合的吗?我想替代方法是在内存中进行分页并在较小的结果集上工作?


问题答案:

BigQuery查询结果是表格。因此,您可以运行查询并从结果中获取目标表,然后使用tabledata.list()API来对结果进行分页。或者,您可以从回复中获取作业ID,并使用具有分页支持的jobs.getQueryResults()