知识条目 / Apache Hive

Apache Hive 小文件过多与分区表查询慢怎么办?

小文件会放大任务数与元数据压力,分区粒度过细又会让扫描分区过多,两者都会拖慢查询并增加资源占用。

先看查询扫描的文件数与分区数,再判断是小文件问题还是分区设计问题;对应手段是合并文件与调整分区粒度。

处理步骤

  1. 统计文件与分区查看表的分区数量以及各分区的文件数与平均文件大小,文件过小或分区过细都会显著增加调度与元数据开销。
  2. 确认裁剪生效检查查询是否带有分区过滤条件,缺少过滤会扫描全部分区,可在执行计划中确认实际读取的分区数量。
  3. 合并小文件对历史分区执行合并任务,控制输出文件大小与数量,避免每次写入都产生大量小文件,合并后复测任务耗时。
  4. 调整分区粒度按实际查询维度设计分区,避免按小时等过细粒度切分,必要时改用分桶或更粗粒度分区来减少扫描量。

示例

SHOW PARTITIONS <database_name>.<table_name>;

DESCRIBE FORMATTED <database_name>.<table_name>
PARTITION (dt = '<date_value>');

ALTER TABLE <database_name>.<table_name>
PARTITION (dt = '<date_value>') CONCATENATE;

合并文件会重写数据,请在低峰执行并确认存储余量;不同版本的合并命令与参数存在差异。

关键词

hive · 小文件 · 分区 · 合并 · 文件数 · 执行计划 · map · reduce · 分区裁剪 · 存储格式 · 分桶