知识条目 / Google BigQuery
Google BigQuery 查询成本高如何用分区裁剪控制?
按扫描字节计费的模式下,缺少分区过滤会扫描整表,成本与耗时同时上升,应先确认裁剪再优化查询结构。
控制成本的关键是让查询只读取必要分区与列;用预估扫描量与实际执行统计对比,能快速发现裁剪失效的语句。
处理步骤
- 预估扫描量执行前使用 dry run 查看预估扫描字节数,与表实际大小对比,若接近全表大小说明分区过滤未生效。
- 补齐分区过滤在查询的 WHERE 子句中直接对分区列使用常量或参数化范围条件,避免因函数包裹分区列而导致裁剪失效。
- 减少读取列数只选择必要列而非全列查询,列式存储下减少列读取能直接降低扫描字节与费用,也便于后续聚簇优化。
- 用聚簇改善裁剪对高频过滤列设置聚簇,使块级统计可以跳过更多数据,结合执行计划确认实际读取量与费用是否下降。
示例
SELECT COUNT(*)
FROM <project_id>.<dataset>.<table_name>
WHERE event_date >= '<start_date>';
SELECT partition_id, total_rows
FROM <project_id>.<dataset>.INFORMATION_SCHEMA.PARTITIONS
WHERE table_name = '<table_name>';
预估扫描量与实际计费存在差异,以账单为准;分区过滤条件需为常量或可静态求值才能生效。
关键词
bigquery · 分区裁剪 · 分区表 · 扫描字节 · 成本 · 聚簇 · 查询计划 · 缓存 · 限制 · dry run