Spark 测试用例生成 apache iceberg 结果
修改测试代码
org.apache.iceberg.examples.ReadAndWriteTablesTest#createUnpartitionedTable
运行测试用例
org.apache.iceberg.examples.ReadAndWriteTablesTest#createUnpartitionedTable
复制代码
生成了如下文件
v1.metadata.json
创建表时候的元数据
v2.metadata.json
插入数据时候的元数据
version-hint.text
当前的版本
v2 的 metadata.json 指向 snap-126031204022468765-1-91b91a3e-8dda-43fb-8553-8ba9bf2a55f8.avro
snap-126031204022468765-1-91b91a3e-8dda-43fb-8553-8ba9bf2a55f8.avro
复制代码
91b91a3e-8dda-43fb-8553-8ba9bf2a55f8-m0.avro
复制代码
小结
官方文档概念与生成文件的对应关系
其他
avro 转 json
java -jar avro-tools-1.19.2.jar tojson ~/study/study-code/iceberg/tmp/temp577147697930163376/metadata/91b91a3e-8dda-43fb-8553-8ba9bf2a55f8-m0.avro
评论