写点什么

Linux MIPI 调试中常见的问题

  • 2023-12-01
    福建
  • 本文字数:3440 字

    阅读完需:约 11 分钟

一、概述


做嵌入式工作的小伙伴知道,有时候程序编写没有调试过程中费时,之间笔记里有 MIPI 摄像头驱动开发的过程,有需要的小伙伴可以参考:Linux RN6752 驱动编写。而我也是第一次琢磨 MIPI 协议,其中有很多不明白的地方,在调试的时候折腾了很久,特此将我遇到的问题记录下来,希望多其他小伙伴有用。


二、测试环境


开发板:RV1126ARM Linux 版本:4.19.111MIPI 设备:RN6752V1 摄像头:AHD 摄像头


三、调试中的问题


在调试需要先确定摄像头驱动是否已经正常加载,可以使用命令 media-ctl -p -d /dev/mediaX 进行查看,如下图所示:



其次明白怎么获取自己的图片,如果直接编写应用程序进行测试的,那无意增加了调试的难度,所以在测试之前需要只要抓图的命令,如果多抓图和链路关系还不了解的小伙伴,可以看我之前的笔记:Linux Media 子系统链路分析


注意: 这里我使用的测试模块是 RN6752V1,它从米皮出来的数据已经是 YUV422 格式的图像,所以我抓取的节点可以有不一样的地方。


1. 抓图时出现 select timeout 错误


现象:出现这样错误的可能原因是因为,MIPI 设备没有正常工作,错误如下图所示



解决办法:


  • 比如在驱动用没有正常调用留控制函,并通过 I2C 对设备进行配置


  • 确定芯片的睡眠引脚电平是否正常


  • 可以使用示波器观察 MIPI 通道时候存在数据,如下图所示



注意 如果将图像缩小,可以看到每帧数据之间有一定的间隔时间,如果芯片正常工作后,便可以抓取到图像。


2. 帧错误


现象:抓图中会出现 rockchip-mipi-csi2: ERR1: error matching frame start with frame end, reg: 0x10,cnt:2 提示。解决办法:这一般都是硬件不稳定导致的,需要检查硬件上的问题


3. 帧格式错误


现象:抓图时,有时能正常抓取成功,但是偶尔会提现是 rkcif_mipi_lvds: ERROR: csi bandwidth lack, intstat:0x80002!! 错误,出现此错误后,变无法获取图像。


解决办法:出现这个问题多数情况是帧格式不匹配导致的,比如我在驱动中使用的是 MEDIA_BUS_FMT_UYVY8_2X8,而抓图是却用的 NV12,也有人说是瑞芯微中使用 NV12 的问题,只需改为 NV16 即可,这类我抓图时更改为 uyvy422 就没有这个错误了。


4. 干扰错误


现象:当数据通道被干扰后,会提示 rockchip-mipi-csi2: ERR1: crc errors, reg: 0x1000000, cnt:1 错误

解决办法:这个是有硬件不稳定导致的,不过一般出现这个错误也是能正常抓取图片的。


5. 瑞芯微 VI 模块使用


现象:由于 RN9752V1 模块接入 MIPI 同到的信号是 YUV422 格式的图像,所以不需要经过 ISP 模块,只需要在 CIF 节点获取即可,但是使用 VI 模块从 video0 节点获取图像是失败。


解决办法:失败的原因是因为 VI 模块默认从 DMA 中获取数据,而 CIF 是从内存中转存的,所以需要将 VI 模块的数据源改为从内存中获取,如下图所示:



6. 图像分屏问题


现象:当 MIPI 通道受到干扰时,便会出现分屏问题,复现也很简单,只需要对 MIPI 通道的数据线或时钟线进行干扰即可分屏,并且每次分屏的位置都不同,如下图所示



解决办法:这里存在两种情况


  • 启动时分屏,当设备启动时分屏,这样的情况是因为获取图片之前没有对设备进行复位(可能软复位和硬复位都要执行),RN6725V1 的复位如下图所示:



  • 运行时分屏,当图像正常运行后,收到硬件部分的干扰也会导致分屏,这样的现象只需要增加 CIF 通道的异常检测功能即可,添加方法如下图所示,具体的操作见 VICAP 异常复位部分的分析,



注意: 以上是我遇到的一些错误,更多的问题处理见 Rockchip Linux4.4 Camera Trouble Shooting 文档,路径在 RV1126 参考资料\Linux\Camera 目录下


四、VICAP 异常复位


瑞芯微已经在驱动中增加了异常复位功能,只需要开启异常检测功能即可,需要注意的是,不同板子的开启方式不同,比如 RK3588 是在配置信息中开启,在 drivers\media\platform\rockchip\cif 目录下的 Kconfig 文件中定义相应的信息,如下图所示:



由于我使用的是 RV1126 开发板,所以这里重点介绍 RV1126 中的配置,而 RV1126/RV1109 都是通过设备树进行配置的,配置信息如下所示:


rockchip,cif-monitor = <index0 index1 index2 index3 index4>;
复制代码


  1. index0index0


表示的是复位模式,目前主要有四种模式


  • 无监测(idle):默认开启,若无 rockchip,cif-monitor 节点配置时,默认为无检测模式,VICAP 不进行图像异常监测


  • 连续模式(continue): 用于实时监测 vicap 是否 mipi 出错及断流,当发生出错及断流时进行 vicap 复位。


  • 检测方式是定时器在 index1 设定的帧数达到时,在帧位进行初始化并开始监测,若出现错误达到相应的帧数后触发复位。


  • 定时器以 index2 设定的周期数进行检测


  • 触发模式(trigger):只有在 csi2 协议层出现了错误时才会触发,当 index4 设定的次数达到时,在图像的帧尾初始化触发器,并在 index2 设定的周期数达到后进行一次 vicap 复位


  • 热插拔模式(hotplug):主要针对车机转接芯片,用于解决设备插拔是图像隔离或断流的问题,此模式具备“连续模式”的功能,与 continue 的差别在于,在 mipi 不报错和不断流的情况下,若是 vicap 所采集的 sensor 通过 RKMODULE_SET_VICAP_RST_INFO 命令置位复位使能,那么 vicap 在通过 RKMODULE_GET_VICAP_RST_INFO 获取到该信息后会触发复位操作。


  1. index1


对 continue 或者 hotplug 而言,在采集到 index1 帧数据后,触发监测定时器


  1. index2


监测定时器的周期,以一帧为单位,监测周期为 index2 帧;


  1. index3


延时复位的时间参数,在发现 vicap csi2 报错后,在该定义时间内,持续对监测,当检测到错误不再增加,进行复位,超过该定义时间,不管是否还在增加错误,都立即进行复位操作,时间单位 ms


  1. index4


用于设定 mipi csi err 的出现次数,在达到该次数后,触发复位


注意: 在 VICAP 模块中产生复位后,是不能解决分屏的问题,它的主要目的是监测图像是否错误,并触发复位信号,复位信号产生后,会在驱动程序的控制函数中产生 RKMODULE_SET_QUICK_STREAM 控制信号。然后利用这个复位信号对设备进行复位便可解决分屏的问题,如下图所示:



五、CSI 数据流模块


  1. CSI 同时采集在 RV1126 和 RV1106 中,存在两个独立而完备的标准物理 mipi csi2 dphy,对应于 dts 上的 csi_dphy0 和 csi_dphy1,所以我们可以实现两个摄像头同步进行图像采集。但是 RV1126 中只有一个 14M 的 ISP 模块,所以想实现两个同时采集只能通过下面两条路径才能实现,但是两张图像不能超过 14M。


imx335-----csi_dphy0------csi2----cif----isp0------ispp0imx335----csi_dphy1----isp1---ispp1
复制代码


注意: 在 RV1126 中,ISP 只能达到 30fps


  1. cif 模块


在 RV1126/RV1109 中,VICAP 存在两个 IP 核,其中一个称之 VICAP FULL,一个称之 VICAP LITE,


  • VICAP FULL:拥有 dvp/mipi/lvds 三种接口,dvp 可与 mipi 或者 lvds 接口同时工作,而 mipi 和 lvds 则不能同时工作,VICAP LITE 仅拥有 lvds 接口,可与 VICAP FULL 的接口同时工作。


  • VICAP LITE: 仅拥有 lvds 接口,可与 VICAP FULL 的接口同时工作。


注意: VICAP FULL dvp 接口对应一个 rkvicap_dvp 节点,VICAP FULL mipi/lvds 接口对应一个 rkvicap_mipi_lvds 节点,VICAP LITE 对应一个 rkvicap_lite_mipi_lvds 节点。各节点可独立采集。


  1. YUV 数据双通道采集问题


从上面信息可以可知,对于 MIPI 通道中的数据是 RAW 格式的,便可以实现两个通道同时采集,但是对于 MIPI 通道中的数据是 YUV 格式时,我只实现一个摄像头的数据采集,分析如下


  • 因为 CIF 模块和 ISP 通道之间是通过虚拟连接的,也就是数据是通过内存块进行交换的,所以可以直接通过这个内存控件直接抓取图像,也就是 vide0 ~ vido3 这几个节点,但是 CIF 模块只有一个,不能用这样的思想进行双通道采集。


  • 想直接从 CSI 模块位置直接获取数据,但是我尝试后,无法获取,如下图所示:



注意: 因为无法在 ISP 模块之前获取 MIPI 通道的数据,所以我没能实现 RV1126 同时采集两个 RN6752V1 的图像数据,但是理论上应该是可以实现的,但是我没找到合适的方式,望有知道的大佬指点一下,如果后期我发现解决办法后,也会补充上的。


参考资料

  1. 介绍 rk 平台针对 cif 链路出现的 mipi 错误以及断流的复位操作:https://blog.csdn.net/weixin_42851620/article/details/131194884

  2. camera 调试:serdes camera 调试:https://blog.csdn.net/qq_34341546/article/details/129138301

  3. camera 调试:RK3588 MIPI/DVP camera 关键配置:https://blog.csdn.net/qq_34341546/article/details/128907000?spm=1001.2014.3001.5502

  4. Rockchip Linux4.4 Camera Trouble Shooting 文档


文章转载自:浇筑菜鸟

原文链接:https://www.cnblogs.com/jzcn/p/17866409.html

用户头像

还未添加个人签名 2023-06-19 加入

还未添加个人简介

评论

发布
暂无评论
Linux MIPI 调试中常见的问题_Linux_快乐非自愿限量之名_InfoQ写作社区