Iceberg在Hadoop集群使用步骤
在Cloudera Data Platform（CDP）集群中使用Apache Iceberg，需结合 CDP 的集成能力（如 Spark 3、Hive Metastore、Catalog 支持等）。以下是完整、可操作的使用步骤（适用于CDP Private Cloud Base/Experience 7.1.7+或CDP Public Cloud，截至 2025 年）：
✅一、前提条件
1. CDP版本要求
- CDP Private Cloud：7.1.7 SP1 或更高（推荐 7.2+）
- CDP Public Cloud：已启用Data Engineering (DE)或Data Warehouse (DW)环境
- 已安装Spark 3.x（Iceberg 仅支持 Spark 3+）
2.组件依赖
组件 | 要求 |
Spark | ≥ 3.1（推荐3.2+） |
Hive Metastore | 必须运行（Iceberg默认使用Hive Catalog） |
存储 | HDFS / S3A / Ozone（需配置访问权限） |
Cloudera Manager | ≥ 7.7.3（Private Cloud） |
⚠️ 注意：CDP不支持 Nessie Catalog（截至 7.2），仅支持Hive Catalog。
🔧二、启用 Iceberg支持（CDP Private Cloud）
步骤 1：在 Cloudera Manager中配置 Spark启用 Iceberg
- 登录Cloudera Manager Web UI
- 进入Spark 3 → Configuration
- 搜索 spark.sql.extensions
- 添加值：org.apache.iceberg.spark.extensions.IcebergSparkSessionExtensions
- 搜索 spark.sql.catalog.spark_catalog
- 设置为：
org.apache.iceberg.spark.SparkSessionCatalog
- 搜索 spark.sql.catalog.spark_catalog.type
- 设置为：hive
- （可选）设置默认仓库路径：
- spark.sql.catalog.spark_catalog.warehouse = hdfs://nameservice1/warehouse/iceberg
💡 提示：上述配置将spark_catalog设为 Iceberg 的 Hive Catalog，使 CREATE TABLE 默认创建 Iceberg 表。
步骤 2：重启 Spark服务
- 在 CM 中重启 Spark 3 History Server和 Gateway
🧪三、使用 Iceberg（通过 Spark SQL）
方式 1：在 Spark Shell / Beeline / Hue中操作
1.启动 Spark SQL客户端
Bash：
#在 CDP集群节点执行
spark3-sql --conf spark.sql.extensions=org.apache.iceberg.spark.extensions.IcebergSparkSessionExtensions \
--conf spark.sql.catalog.spark_catalog=org.apache.iceberg.spark.SparkSessionCatalog \
--conf spark.sql.catalog.spark_catalog.type=hive
2.创建 Iceberg表
Sql：
-- 创建数据库（如果不存在）
CREATE DATABASE IF NOT EXISTS iceberg_db;
-- 使用数据库
USE iceberg_db;
-- 创建 Iceberg 表（自动识别为 Iceberg 格式）
CREATE TABLE customer (
id BIGINT,
name STRING,
email STRING,
ts TIMESTAMP
) USING iceberg
PARTITIONED BY (days(ts));
✅ 关键：USING iceberg 显式指定格式（即使配置了默认 catalog 也建议写明）
3.写入数据
Sql：
INSERT INTO customer VALUES
(1, 'Alice', 'alice@example.com', current_timestamp()),
(2, 'Bob', 'bob@example.com', current_timestamp());
4.查询与 Time Travel
Sql：
-- 普通查询
SELECT * FROM customer;
-- 查看快照历史
SELECT * FROM customer.history;
-- 时间旅行查询（按快照 ID）
SELECT * FROM customer VERSION AS OF 123456789;
-- 或按时间戳
SELECT * FROM customer FOR TIMESTAMP AS OF '2025-12-17 10:00:00';
5. Schema Evolution（安全改表结构）
Sql：
-- 添加列
ALTER TABLE customer ADD COLUMN phone STRING;
-- 删除列（CDP 7.2+ 支持）
ALTER TABLE customer DROP COLUMN email;
📁四、目录结构与元数据位置
Iceberg 表在 HDFS/S3 上生成标准目录结构：
/warehouse/iceberg/
└── iceberg_db.db/
└── customer/
├── metadata/
│ ├── snap-123456789-1-a1b2c3d4.metadata.json
│ ├── v1.metadata.json
│ └── ...
└── data/
└── dt=2025-12-17/
└── xxx.parquet
- metadata/：存储快照、manifest、schema 变更历史
- data/：实际数据文件（Parquet/ORC）
🔍 可通过 DESCRIBE FORMATTED customer; 查看表路径和格式。
⚙️五、高级功能（CDP支持情况）
功能 | CDP支持 | 说明 |
Row-Level Delete | ✅7.2+ | DELETE FROM customer WHERE id = 1; |
Merge Into（Upsert） | ✅ | 需Spark 3.2+，语法：MERGE INTO ... WHEN MATCHED THEN UPDATE ... |
Time Travel | ✅ | 完整支持VERSION AS OF / TIMESTAMP AS OF |
Partition Evolution | ✅ | ALTER TABLE ... SET PARTITION SPEC (...) |
Replication Manager复制 | ✅7.1.7 SP1+ | 通过RM复制Iceberg表（需选"Replicate using metadata files"） |
Trino/Presto查询 | ❌（Private Cloud） | CDP Private Cloud默认不集成Trino；Public Cloud可通过DW查询 |
🛠六、常见问题排查
问题 | 解决方案 |
报错：Cannot find catalog spark_catalog | 检查Spark配置是否包含spark.sql.catalog.spark_catalog=... |
CREATE TABLE仍是Hive表 | 确认是否写了USING iceberg，或检查spark_catalog是否被覆盖 |
权限拒绝（Permission denied） | 确保用户对/warehouse/iceberg有读写权限（HDFS ACL / S3 Policy） |
Kerberos认证失败 | 在Spark提交时添加--keytab和--principal |
📚官方参考文档
- Cloudera Docs: Using Iceberg Tables in CDP
- CDP Public Cloud: Iceberg with Data Engineering
✅总结：CDP中使用 Iceberg的核心流程
1.配置 Spark启用 Iceberg扩展 + Hive Catalog
2.通过 Spark SQL创建 USING iceberg表
3.使用标准 SQL进行 INSERT/UPDATE/DELETE/TIME TRAVEL
4.利用 Replication Manager实现灾备同步（可选）
Iceberg 在 CDP 中已深度集成，是构建湖仓一体（Lakehouse）架构的首选格式。
