知识条目 / Google BigQuery

Google BigQuery 查询成本高如何用分区裁剪控制?

按扫描字节计费的模式下,缺少分区过滤会扫描整表,成本与耗时同时上升,应先确认裁剪再优化查询结构。

控制成本的关键是让查询只读取必要分区与列;用预估扫描量与实际执行统计对比,能快速发现裁剪失效的语句。

处理步骤

  1. 预估扫描量执行前使用 dry run 查看预估扫描字节数,与表实际大小对比,若接近全表大小说明分区过滤未生效。
  2. 补齐分区过滤在查询的 WHERE 子句中直接对分区列使用常量或参数化范围条件,避免因函数包裹分区列而导致裁剪失效。
  3. 减少读取列数只选择必要列而非全列查询,列式存储下减少列读取能直接降低扫描字节与费用,也便于后续聚簇优化。
  4. 用聚簇改善裁剪对高频过滤列设置聚簇,使块级统计可以跳过更多数据,结合执行计划确认实际读取量与费用是否下降。

示例

SELECT COUNT(*)
FROM <project_id>.<dataset>.<table_name>
WHERE event_date >= '<start_date>';

SELECT partition_id, total_rows
FROM <project_id>.<dataset>.INFORMATION_SCHEMA.PARTITIONS
WHERE table_name = '<table_name>';

预估扫描量与实际计费存在差异,以账单为准;分区过滤条件需为常量或可静态求值才能生效。

关键词

bigquery · 分区裁剪 · 分区表 · 扫描字节 · 成本 · 聚簇 · 查询计划 · 缓存 · 限制 · dry run