征程 6E/M 快速上手实战 Sample-PYM

作者：地平线智能驾驶开发者

2024-09-07
广东
本文字数：2964 字
阅读完需：约 10 分钟

01 IPC 模块简述

1.1 硬件数据流

PYM（Pyramid）作为一个硬件加速模块（图像缩小及 ROI 提取），对输入的图像按照金字塔图层的方式处理，并输出到 DDR：

PYM 模块在 Camsys 子系统的数量和位置如下，总共 3 个 PYM 硬件，PYM0、PYM1、PYM4（只支持 offline）。

1.2 PYM-Sample 软件架构

本文的 demo sample 采用回灌流程，即从系统存储中读取文件，作为 PYM 的输入图像。调用 VIO API 实现整个数据通路初始化并完成 PYM 处理。

1.3 PYM-Sample

#Sample源码路径/test/samples/platform_samples/source/S83_Sample/S83E04_Module/pym_sample#cfg中包含了VPM配置文件，res包含了YUV图像资源文件#src下pym_sample.c为sample源代码

复制代码

*1.3.1 API 调用流程*

1.3.2 Sample 源码解析

get_opts_for_pym（）：配置参数

配置 pym 设备参数，下面是具体参数说明：

int32_t hb_vio_init（const char *cfg_file）:*本 Sample 中为单进程模式

读取："/sys/module/hobot_vio_common/parameters/vio_mp_en" 判断是否多进程模式。

单进程：根据 VPM 配置文件（-v）初始化每个 VIO 管道。对于初始化错误的管道回滚进行反初始化。

多进程：根据 VPM 配置文件（-v）初始化每个 VIO 管道。创建套接字并根据"/var/vio_service.unix"连接服务器并向 server 发送初始化的 VIO 管道。

int32_t hb_vio_start_pipeline(uint32_t pipeline_id):

单进程：根据 id 启动 VIO 管道中的实体并激活每个 VFlow 流程中的所有节点（vnode）。

多进程：发送启动命令给 server 以启动 VIO 管道，接受 server 返回的信息。

pym_feedback_worker_func:

int32_t hb_vio_get_data(uint32_t pipeline_id, VIO_DATA_TYPE_E data_type, void *data):

单进程：根据管道句柄和类型获取信息；

多进程：发送获取数据命令给 server，接受返回的信息。

int read_yuv420_file(const char *filename, char addr0, char* addr1,* uint32_t y_size):

解析 yuv 文件信息。

int32_t hb_vio_run_pym(uint32_t pipeline_id, hb_vio_buffer_t *src_img_info):

单进程：将缓冲区类型从 VIO 缓冲区转换为 VNODE 实体，将图像数据转换为帧描述符格式排入设备队列并轮询以获取结果。

多进程：获取图像缓冲区的地址，向 server 发送空闲 pym 信息，接受 server 返回的信息。

int32_t hb_vio_free_pymbuf(uint32_t pipeline_id, VIO_DATA_TYPE_E data_type, void *img_info):

单进程：根据管道 id 和类型释放内存。

多进程：向 server 发送释放内存命令，接受返回信息。

02 Sample 使用

2.1 编译

获取 AppSDK 包后，进入 appuser 执行：

*其中 hbrootfs-sdk_0.0.1.XXX_all.deb 是地平线自己的库和头文件，rootfs-sdk-focal_0.0.1.XXX_all.deb 是系统库，aarch64-linux-hb-gcc_12.2.0_amd64.deb 是 gcc 12.2.0 工具链，目前在 ubuntu22.04 非 docker 环境下运行正常。其它环境不能保证。

dpkg-deb -x rootfs-sdk*.deb ./sdkdpkg-deb -x hbrootfs-sdk*.deb ./sdk##移动sdk库路径，本文档放入/usr/lib中sudo mv sdk/ /usr/lib

复制代码

进入 toolchain 执行：

dpkg -x aarch64-linux-hb-gcc_12.2.0_amd64.deb ./arm-gnu-toolchain##移动toolchain库路径，本文档放入/usr/lib中sudo mv arm-gnu-toolchain/ /usr/libnano ~/.bashrc##添加系统路径export PATH="/usr/lib/arm-gnu-toolchain/bin:$PATH"export LD_LIBRARY_PATH="/usr/lib/arm-gnu-toolchain/lib:$LD_LIBRARY_PATH"##source ~/.bashrc

复制代码

Sample 代码路径：

#Sample源码路径/test/samples/platform_samples/source/S83_Sample/S83E04_Module/pym_sample

复制代码

复制/src 源码到新建文件夹 pym 并构建新 Makefile：

*cfg 和 res 也拷贝到该目录

pym├── cfg│   └── 1v_cpe0_ddr_pym0_4k│       └── vpm_config.json├── Makefile├── res│   └── 4k.yuv└── src    └── pym_sample.c

复制代码

Makefile:

CROSS_COMPILE = aarch64-none-linux-gnu-OUTPUT_HBROOTFS_DIR = /usr/lib/sdkCXX := ${CROSS_COMPILE}gccINC_DIR := ${OUTPUT_HBROOTFS_DIR}/usr/hobot/includeLIB_DIR := ${OUTPUT_HBROOTFS_DIR}/usr/hobot/lib LIB_DIR += ${OUTPUT_HBROOTFS_DIR}/usr/lib/aarch64-linux-gnuLIBS := -lvio -lpthread -lalog -lhbmem -lvpf -lgdcbin -lcam -lcjsonCXXFLAGS := -Wall -O2 -I$(INC_DIR)LDFLAGS := $(addprefix -L, $(LIB_DIR)) $(LIBS)SRC_DIR := srcTARGET := programSRCS := $(wildcard $(SRC_DIR)/*.c)OBJS := $(SRCS:.c=.o)$(TARGET): $(OBJS)    $(CXX) $(CXXFLAGS) $(LDFLAGS) $^ -o $@%.o: %.c    $(CXX) $(CXXFLAGS) -c $< -o $@clean:    rm -f $(OBJS) $(TARGET)

复制代码

执行 make 完成编译，生成的文件为。/programD

2.2 文件传输

使用 WinScp 将 vpm_config.json、4k.yuv 和 program 传输到单板上。

WinScp 使用方法请参考*征程 6E/M 底软开发 Sample-IPC 2.1.2

2.3 运行

通过 ssh 或串口进入/home/hobot/执行：

./program -v vpm_config.json -y 4k.yuv -l 10 -s 1 -m 1

复制代码

Sample 运行时日志:

[DBG] pym: pipe(0)Test pym work thread---running.[DBG] pym: pipe(0) pym feedback worker_thread Ready ![DBG] pym: (read_yuv420_file):file read(/4k.yuv), size(8294400)[DBG] pym: filedump(3840x2160_pipe0_pym_ds0_f0_roi_1.yuv, size(8294400) is successed[DBG] pym: ds0 w3840xh2160 3840x2160_pipe0_pym_ds0_f0_roi_1.yuv[DBG] pym: filedump(1920x1080_pipe0_pym_ds1_f0_roi_1.yuv, size(2073600) is successed[DBG] pym: ds1 w1920xh1080 1920x1080_pipe0_pym_ds1_f0_roi_1.yuv[DBG] pym: filedump(960x540_pipe0_pym_ds2_f0_roi_1.yuv, size(518400) is successed[DBG] pym: ds2 w960xh540 960x540_pipe0_pym_ds2_f0_roi_1.yuv[DBG] pym: filedump(480x270_pipe0_pym_ds3_f0_roi_1.yuv, size(129600) is successed[DBG] pym: ds3 w480xh270 480x270_pipe0_pym_ds3_f0_roi_1.yuv[DBG] pym: filedump(240x134_pipe0_pym_ds4_f0_roi_1.yuv, size(32160) is successed[DBG] pym: ds4 w240xh134 240x134_pipe0_pym_ds4_f0_roi_1.yuv[DBG] pym: filedump(112x66_pipe0_pym_ds5_f0_roi_1.yuv, size(7392) is successed[DBG] pym: ds5 w112xh66 112x66_pipe0_pym_ds5_f0_roi_1.yuv[DBG] pym: (read_yuv420_file):file read(/4k.yuv), size(8294400)[DBG] pym: (read_yuv420_file):file read(/4k.yuv), size(8294400)[DBG] pym: (read_yuv420_file):file read(/4k.yuv), size(8294400)[DBG] pym: (read_yuv420_file):file read(/4k.yuv), size(8294400)[DBG] pym: (read_yuv420_file):file read(/4k.yuv), size(8294400)[DBG] pym: (read_yuv420_file):file read(/4k.yuv), size(8294400)[DBG] pym: (read_yuv420_file):file read(/4k.yuv), size(8294400)[DBG] pym: (read_yuv420_file):file read(/4k.yuv), size(8294400)[DBG] pym: (read_yuv420_file):file read(/4k.yuv), size(8294400)[DBG] pym: pipe(0) pym feedback worker thread quit ![DBG] pym: pipe(0)Test pym work thread---try stop.[DBG] pym: pipe(0)Test pym work thread---join done.

复制代码

生成的缩放 yuv 文件存放在程序执行目录下。

检查生成的 yuv 文件，本文档使用 YUView：*请用户自行下载

将生成的文件传输给 window