Spark 测试用例生成 apache iceberg 结果
修改测试代码
org.apache.iceberg.examples.ReadAndWriteTablesTest#createUnpartitionedTable
 
 运行测试用例
org.apache.iceberg.examples.ReadAndWriteTablesTest#createUnpartitionedTable
复制代码
 生成了如下文件
 
 v1.metadata.json
创建表时候的元数据
v2.metadata.json
插入数据时候的元数据
version-hint.text
当前的版本
 
 v2 的 metadata.json 指向 snap-126031204022468765-1-91b91a3e-8dda-43fb-8553-8ba9bf2a55f8.avro
snap-126031204022468765-1-91b91a3e-8dda-43fb-8553-8ba9bf2a55f8.avro
复制代码
 91b91a3e-8dda-43fb-8553-8ba9bf2a55f8-m0.avro
复制代码
 小结
官方文档概念与生成文件的对应关系
 
 其他
avro 转 json
java -jar avro-tools-1.19.2.jar tojson ~/study/study-code/iceberg/tmp/temp577147697930163376/metadata/91b91a3e-8dda-43fb-8553-8ba9bf2a55f8-m0.avro












 
    
评论