知识条目 / Apache Druid
Apache Druid 预聚合与查询性能如何优化?
合理使用 rollup 与段粒度减少扫描数据量,结合查询粒度和 broker 资源定位性能瓶颈。
Druid 面向时序与事件分析,查询性能依赖段裁剪与预聚合。rollup 能大幅减少存储和扫描量,但会丢失明细,需要按业务需求选择粒度。
处理步骤
- 确认查询粒度与段裁剪查询时指定的粒度不应细于摄入时的 rollup 粒度。过滤条件要能命中时间与分区,否则会扫描大量段。
- 设计 rollup 与指标按分析需求选择维度组合与聚合指标。维度过高会削弱 rollup 效果,近似聚合可显著降低资源消耗。
- 检查段与任务状态查看段数量、大小与 compaction 任务。大量小段会增加 broker 与 historical 的扫描开销。
- 定位 broker 与 historical 负载结合查询指标判断瓶颈在 broker 合并结果还是 historical 扫描。必要时增加副本或调整查询并发。
示例
SELECT FLOOR(__time TO HOUR) AS hour,
region,
SUM(amount) AS total
FROM sales
WHERE __time >= TIMESTAMP '2026-11-01 00:00:00'
GROUP BY 1, 2
ORDER BY hour;
{
"type": "index_parallel",
"granularitySpec": {
"segmentGranularity": "DAY",
"queryGranularity": "HOUR",
"rollup": true
}
}
rollup 后无法还原原始明细,涉及对账或审计的数据源应保留原始粒度。修改摄入粒度通常需要重建数据源。
关键词
druid · 预聚合 · rollup · segment · 数据源 · 查询 · broker · historical · olap · 时序分析