知识条目 / Apache Iceberg

Apache Iceberg 表如何做小文件与元数据维护?

定期重写数据文件、清理过期快照与孤立文件,控制清单文件规模并合理设置分区。

Iceberg 通过快照与清单管理表状态。频繁小批量写入会产生大量小文件与快照,导致查询计划和扫描变慢,需要定期维护。

处理步骤

  1. 识别小文件与快照增长查看表的文件数量、平均大小与快照数量。小文件过多会放大查询规划与打开文件的开销。
  2. 重写数据文件使用 rewrite_data_files 合并小文件,按目标文件大小设置参数。分区设计不合理时先评估分区演进。
  3. 清理过期快照与孤立文件按时间旅行与回滚需求保留必要快照,过期快照及时清理。孤立文件删除要谨慎,避免误删正在写入的数据。
  4. 控制清单与分区规模定期重写清单文件,避免单表清单过多。分区粒度要匹配查询过滤,过细会产生海量小分区。

示例

CALL catalog.system.rewrite_data_files(
  table => 'db.orders',
  options => map('target-file-size-bytes', '134217728')
);

CALL catalog.system.expire_snapshots(
  table => 'db.orders',
  older_than => TIMESTAMP '2026-11-01 00:00:00',
  retain_last => 5
);

CALL catalog.system.remove_orphan_files(
  table => 'db.orders',
  older_than => TIMESTAMP '2026-11-01 00:00:00'
);

清理快照会失去对应时间点的回滚能力。并发写入期间执行维护操作需确认锁与提交冲突策略。

关键词

iceberg · 数据湖 · 小文件 · compaction · 快照 · snapshot · manifest · 元数据 · 分区 · spark