写点什么

bc 与 hbm 一致性比对

  • 2024-12-15
    广东
  • 本文字数:3487 字

    阅读完需:约 11 分钟

bc 与 hbm 一致性比对

01 引言

使用地平线 征程 6 算法工具链时,算法侧在验证 quantized.bc 精度符合预期后,软件侧反馈 hbm 精度不符合预期,此时应该怎么做呢?(“打一架!”)


对于熟悉地平线算法工具链的用户而言,可能会立刻想到,使用 hb_verifier 工具比对 bc 与 hbm 的一致性即可,so easy!


但对于不太熟悉的同学,可能会遇到如下问题:


  1. hb_verifier 工具怎么用?

  2. 输入数据怎么准备?准备几个输入?准备什么 shape?什么 type?


为了结合用户的疑问详细介绍该过程,本文会举个非常详细的例子来介绍。有没有比 hb_verifier 更“优雅”的比对方式?当然是有的,欢迎往下看。

02 模型定义

quantized.bc 与 hbm 可以分为以下几类:


  • convert 后什么都不做的:quantized_stage1.bc,对应 quantized_stage1.hbm



  • 在 stage1 的基础上,插入前处理 nv12 节点的:quantized_nv12_stage2.bc,对应 quantized_nv12_stage2.hbm



  • 在 stage2 的基础上,删除尾部反量化节点的:quantized_nv12_remove_stage3.bc,对应 quantized_nv12_remove_stage3.hbm



理论上,大家直接比对 stage3.bc 与 stage3.hbm 的一致性即可,而这一步,也是最复杂的。

03 hb_verifier 简介

hb_verifier 比对 bc 与 hbm 一致性时,需要关注的信息如下:



bc 与 hbm 一致性比对时,输出信息如下:



本文的例子中,命令如下:


hb_verifier -m quantized_nv12_remove_stage3.bc,quantized_nv12_remove_stage3.hbm -i y_data.npy,uv_data.npy
复制代码

04 输入数据准备

在地平线 docker 中,可以使用 hb_model_info 查看 bc 以及 hbm 的输入信息,或在 docker/开发板上使用 hrt_model_exec 工具查看模型输入信息,然后根据终端打印的模型输入数量、输入类型来准备输入数据,以 quantized_nv12_remove_stage3.bc/quantized_nv12_remove_stage3.hbm 为例,来准备输入数据。


hb_model_info quantized_nv12_remove_stage3.bchb_model_info quantized_nv12_remove_stage3.hbm
复制代码




输入数据准备的代码如下:



from PIL import Imageimport numpy as np
def generate_nv12(img): w,h = img.size # Convert images to YUV format yuv_img = img.convert('YCbCr') y_data, u_data, v_data = yuv_img.split()
# Convert Y, U, and V channel data to byte streams y_data_bytes = y_data.tobytes() u_data_bytes = u_data.resize((u_data.width // 2, u_data.height // 2)).tobytes() v_data_bytes = v_data.resize((v_data.width // 2, v_data.height // 2)).tobytes()
# Arrange the UV data in the form of UVUVUVUV... uvuvuv_data = bytearray() for u_byte, v_byte in zip(u_data_bytes, v_data_bytes): uvuvuv_data.extend([u_byte, v_byte])
# Input for the hbir model y = np.frombuffer(y_data_bytes, dtype=np.uint8).reshape(1, h, w, 1).astype(np.uint8) np.save("y_data.npy", y) uv = np.frombuffer(uvuvuv_data, dtype=np.uint8).reshape(1, h//2, w//2, 2).astype(np.uint8) np.save("uv_data.npy", uv) return y, uv
if __name__ == "__main__": # Create a random image with the shape (1, 512, 960, 3) # Generate random RGB values in the range 0-255 image_data = np.random.randint(0, 256, (512, 960, 3), dtype=np.uint8)
# Convert the numpy array to a PIL image img = Image.fromarray(image_data) y, uv = generate_nv12(img)
复制代码


述代码只介绍了 NV12 输入时,如何准备输入数据,对于 int8、int16、bool 等类型如何准备输入数据呢?


import numpy as np# 定义所有输入数据的形状和数据类型data_dict = {    'A_input': {'shape': (1, 32, 16), 'dtype': np.int8},    'B_input': {'shape': (1, 1, 320, 4), 'dtype': np.int16},    'C_input': {'shape': (32, 10, 10), 'dtype': np.bool_},}
# 生成数据并保存为 .npy 文件for idx, (name, info) in enumerate(data_dict.items()): shape = info['shape'] dtype = info['dtype'] # 生成随机数据 data = np.random.randint(0, 100, size=shape, dtype=dtype) if dtype == np.int16 else np.random.choice([True, False], size=shape) # 保存为 .npy 文件,文件名前加上编号 np.save(f"{idx}_{name}.npy", data) print(f"Saved {idx}_{name}.npy")
复制代码


05 hb_verfier 比对 bc 与 hbm 一致性


此时有模型:quantized_nv12_remove_stage3.bc,quantized_nv12_remove_stage3.hbm,有输入数据:y_data.npy,uv_data.npy。


在地平线征程 6 工具链提供的 docker 中,运行如下命令:


hb_verifier -m quantized_nv12_remove_stage3.bc,quantized_nv12_remove_stage3.hbm -i y_data.npy,uv_data.npy
复制代码


结果如下:



可以发现,二者输出一致。

06 优雅的方案

使用一套数据,在 docker 中推理 bc 与 hbm,并比对一致性的 python 代码如下:


from hbdk4.compiler import load, Hbmimport numpy as npfrom PIL import Image
def generate_nv12(img): w,h = img.size # Convert images to YUV format yuv_img = img.convert('YCbCr') y_data, u_data, v_data = yuv_img.split()
# Convert Y, U, and V channel data to byte streams y_data_bytes = y_data.tobytes() u_data_bytes = u_data.resize((u_data.width // 2, u_data.height // 2)).tobytes() v_data_bytes = v_data.resize((v_data.width // 2, v_data.height // 2)).tobytes()
# Arrange the UV data in the form of UVUVUVUV... uvuvuv_data = bytearray() for u_byte, v_byte in zip(u_data_bytes, v_data_bytes): uvuvuv_data.extend([u_byte, v_byte])
# Input for the hbir model y = np.frombuffer(y_data_bytes, dtype=np.uint8).reshape(1, h, w, 1).astype(np.uint8) # np.save("y_data.npy", y) uv = np.frombuffer(uvuvuv_data, dtype=np.uint8).reshape(1, h//2, w//2, 2).astype(np.uint8) # np.save("uv_data.npy", uv) return y, uv
def compare_arrays(array1, array2, decimal_places=2): """ Compare two arrays for consistency up to a specified number of decimal places.
Parameters: - array1: First numpy array. - array2: Second numpy array. - decimal_places: Number of decimal places to consider for alignment.
Returns: - are_equal: True if arrays are consistent up to the specified decimal places, False otherwise. - max_difference: Maximum difference (absolute value) if arrays are not consistent, else 0. """ # Round the arrays to the specified decimal places rounded1 = np.round(array1, decimals=decimal_places) rounded2 = np.round(array2, decimals=decimal_places) # Check equality are_equal = np.array_equal(rounded1, rounded2) # Calculate maximum difference if not equal max_difference = 0 if not are_equal: max_difference = np.max(np.abs(array1 - array2)) return are_equal, max_difference
hbir = load("./quantized_nv12_remove_stage3.bc")hbm = Hbm("./quantized_nv12_remove_stage3.hbm")
# Create a random image with the shape (1, 512, 960, 3)# Generate random RGB values in the range 0-255image_data = np.random.randint(0, 256, (512, 960, 3), dtype=np.uint8)# Convert the numpy array to a PIL imageimg = Image.fromarray(image_data)y, uv = generate_nv12(img)
inputs = {"input_0_y": y, "input_0_uv": uv}
# 分别进行hbir和Hbm推理hbir_outputs = hbir[0].feed(inputs)# print("hbir_outputs:", hbir_outputs)hbm_x86_outputs = hbm[0].feed(inputs)# print("hbm_x86_outputs:", hbm_x86_outputs)
# 比较Hbir和hbm输出for idx, v in enumerate(hbir[0].outputs): hbir_data = hbir_outputs[v.name] hbm_x86_data = hbm_x86_outputs[v.name]
# Compare arrays are_equal, max_difference = compare_arrays(hbir_data, hbm_arrch64_data, decimal_places=4) if not are_equal: print("Maximum difference:", max_difference) else: print(f"outputs[{idx}] is equal!")
复制代码



用户头像

还未添加个人签名 2021-03-11 加入

还未添加个人简介

评论

发布
暂无评论
bc 与 hbm 一致性比对_自动驾驶_地平线开发者_InfoQ写作社区