ISP
0 人感兴趣 · 72 次引用
- 最新
- 推荐
跟着卷卷龙一起学 Camera-- 噪声与去噪 04
在英文论文中，经常有个词‘state of the art’，直接看有点不明白这个短语的意思，意译 过来就是，这门手艺的翘楚，业内称 BM3D 算法，在去噪算法里就是‘state of the art’， 它可以得到最高的峰值信噪比。 简单说 BM3D 是融合了 spatial denoise 和 tran
跟着卷卷龙一起学 Camera-- 噪声与去噪 03
这样图像的细节就被模糊掉了。于是人们就对这种均值滤波进行了一些改进，比如增加 图像边缘方向的判断。
跟着卷卷龙一起学 Camera-- 噪声与去噪 02
而 FPN noise 是相关噪声， σfpn =σfpn1 + σfpn2 ； S = S1 + S2； S/σfpn=( S1 + S2)/(σfpn1 + σfpn2); 当 S1=S2，σfpn1 = σfpn2； S/σfpn=S1/σfpn1 ; 多帧平均不会降低 FPN。 通过上图可以看出，经过多帧平均后，噪声的 floor 变成了 FPN。通过多
跟着卷卷龙一起学 Camera-- 噪声与去噪 01
1.噪声分类 噪声有很多种分类方法，比如从频率上分，可以分为高频，中频，低频噪声。从色彩空间上分，可以分为 luma noise 亮度噪声与 chroma noise 彩色噪声。从时态上分，可以分为 fix pattern noise 与 temporal noise。Fix pattern noise 与时间 无关，表
跟着卷卷龙一起学 Camera-- 低延迟 06
到目前位置，我们理想中的梦幻 encoder 已经能够以 16 行为单位输出编码码流了，所以接下来的任务 就是用最快的速度把这些比特流送到网络上去。我看到有些热心观众已经开始跃跃欲试地举手了，它们一 定是想说，先把这些数据送到内存里，然后 encoder 给 CPU
跟着卷卷龙一起学 Camera-- 低延迟 05
这里需要注意的是，由于在线模式 ISP 只能为一个 sensor 服务，所以它并不需要满负荷工作。如果 ISP 系统的硬件设计支持动态调整时钟频率，则应该把 ISP 的主频调低到 100MHz 以下，与 sensor 主频适配， 此时既能满足业务处理的要求，也能降低硬件功耗。对于
跟着卷卷龙一起学 Camera-- 低延迟 04
前面提到过 CMOS sensor 在输出 1080p@30fps 时典型主频 在 76MHz 左右，所以 IP 的实际处理能力是 sensor 输出能力的 10 倍以上。这么强大的处理能力如果只为 一个 sensor 服务显然是太奢侈了，所以现实情况是一个 ISP 最少需要同时支持两个 sensor，有些产
跟着卷卷龙一起学 Camera-- 低延迟 03
从以上分析可以知道，典型的硬件延迟其实是非常小的，ISP 和 encoder 的延迟之和可以做到 2ms 以内， 如果只考虑算法 pipeline 本身的延迟则更小，与动辄 100ms 以上的端到端延迟相比，几乎可以忽略不计。 接下来的问题就很显然了，剩下的这么多延迟都是怎么
跟着卷卷龙一起学 Camera-- 低延迟 02
camera latency 是一个系统指 标，包含了硬件和软件的贡献：硬件架构决定了系统能够做到的最小延迟，而软件架构也会对延迟产生重 大的影响，合理高效的软件设计可以使系统总延迟接近硬件极限，而低效的软件设计则会引入不必要的延 迟，降低产品性能。
跟着卷卷龙一起学 Camera-- 偏振相机
偏振（polarization）相机是最近在机器视觉，工业视觉以及军事领域成像技术的一个 热点应用，尤其是 Sony 推出了一款带偏振功能的图像传感器 imx250，更方便了偏振 相机的开发。大家比较熟知的偏振光在传统摄影上的应用是偏振片。
跟着卷卷龙一起学 Camera-- 自动驾驶需要几个 camera
Intel-Mobileye 刚刚发布其新的自动驾驶平台，支持 12 个 camera 和 6 个激光雷达（LIDAR）。 据 intel-Mobileye 的参考设计，8 个 camera 用来支持自主驾驶，另外 4 个 camera 支持近场 传感既用来做自主驾驶，也用来做自动停车。 Tesla 与 Goole 的自动驾驶
跟着卷卷龙一起学 Camera-- 信号采样 04
而 C-Phy 采用了另外一种方式嵌入时钟 C-Phy 有三根信号线，不像 M-Phy 和 D-Phy ， C-Phy 并不是严格意义上的差分信号线。而是更像我们的工业用电一样，它使用三根信号之间 的差作为信号判断。其三根信号之间必然有一根在 3/4V 一根在 1/2 V 一根在 1/4V。三
跟着卷卷龙一起学 Camera-- 信号采样 03
2 D-Phy 使用的 DDR 同步的上升下降沿 但是随着时钟频率的提升，信号也变得容易被干扰。导致采样的时候出现错误。因此后来出现了 差分信号。即是用一对信号线代表一个信号。两个信号（时钟）线的差用来代表信号的状态。当 P 线为 1，N 线为 0 的时候为信号 1
跟着卷卷龙一起学 Camera-- 信号采样 02
MIPI 组织只得在 13 年推出一个相比 M-Phy 传输速度低，但是和 D-Phy 更容易兼容，且 设备开发成本较低的 C-Phy 协议。最近两年高速录像的兴起将本来就不富裕的 D-Phy 带宽压 榨到了极限，C-Phy 的设备终于开始进入实际生产。
跟着卷卷龙一起学 Camera-- 信号采样 01
就像大家都注意到了 P20pro 有三个摄像头一样，大家一开始看到 Cphy 的时候就注意到这个新 的协议没有单独时钟线。那么没有时钟线之后数据怎么传输呢？ 这就是这篇文章的要向大家解 释的不同协议是怎么进行信号采样的。 本文主要是介绍 C-Phy，M-Phy 和 D-Ph
跟着卷卷龙一起学 Camera--MIPI 03
统一接口标准的好处是手机厂商根据需要可以从市面上灵活选择不同的 芯片和模组，更改设计和功能时更加快捷方便。下图是按照 MIPI 的规划下一代智能手机的内部 架构。如今，MIPI 联盟有 18 个的工作组，分别聚焦于不同的领域。它们分别是： 1. Analog Control
跟着卷卷龙一起学 Camera--MIPI 02
而手机上之所以能把摄像头模组做到这么小，我们不得不感谢 MIPI 联盟 (MIPI Alliance)。MIPI 联盟最初由四家半导体及手机巨头， ARM，Nokia，STMicroelectronics 和 TexasInstruments，于 2003 年创立。该组织的创立， 为手机模组小型化的发展打下了坚实的基
跟着卷卷龙一起学 Camera--MIPI 01
电子行业的协议往往是由大公司或者联盟所主导制定的。也只有大量的需求和实际的开发经 验才能促使技术的发展和统一。在手机上有一个针对元器件接口的重要协议联盟 MIPI 联盟。 我们往往会说 camera 器件的接口是 MIPI，LVDS 的或者并口等等。其实这更多的是一
跟着卷卷龙一起学 Camera--Rolling Shutter
Rolling shutter 是现在 cmos sensor 普遍采用的技术，它是相对于 global shutter 而 言的一个概念。 用 rolling shutter 的 sensor，图像的每一行的曝光不是不同的，而在显示的时候，图像 的所有行是作为一个整体同时显示的。所以在拍摄高速运动，旋转的物体
跟着卷卷龙一起学 Camera-- 延迟 04
现在说下这些时间一般是怎么测试的。之前这些时间的测试都会用到跑马灯和高速相机。没有跑 马灯也可以使用高速秒表或者播放秒表的高帧率视频。跑马灯是一个用灯光来表示时间的工具。 一般可以用来测试曝光。当然也可以用来测试各种时间。高速相机的话，之前使
跟着卷卷龙一起学 Camera-- 延迟 03
这段时间主要是由于预览的分辨率和拍照的分辨率的大小不一样、处理的偏重也不一样，所以需 要重新配置 ISP，sensor，甚至为了更好的效果需要重新设置曝光的时间白平衡的参数等需要花 费的时间。如果除去 AF 这段时间就是 shutter lag 的主要时间。也就是这段
跟着卷卷龙一起学 Camera-- 延迟 02
紧接着看 VF latency 这个实际上是指现实中的场景和手机上显示图像之间的区别。在一些比较 便宜的手机或者在低光状况下的时候，左右晃动手机会发现画面和手的移动不同步。或者手机上 面快速的移动物体和影响不同步。下面是网上找的格力手机的测试图，上面说是
跟着卷卷龙一起学 Camera-- 延迟 01
最近看到很多评测的文章，大家现在都比较关心画质，也都知道了很多概念。什么是曝光，什么 是颜色的饱和度，什么是动态范围，甚至是说很多人还能说出这个画面偏暖那个画面偏冷。似乎 画质成了评测相机的唯一指标。国内国外的很多厂商也是一拥而上，这个说我用
跟着卷卷龙一起学 Camera-- 双摄 05
3 黑白 camera 低光提亮和去噪 低光提亮和去噪在算法上和 HDR 基本没有区别。主要区别是利用两个 Camera 中一颗为黑白的 camera。在低光下的响应比较好且噪声比较小。其优点是对于彩噪有不错的抑制性一般能够 3 个 DB 左右的 SNR 提高。但是实际拍摄的图片多
跟着卷卷龙一起学 Camera-- 双摄 04
第二类功能 第二类功能都是通过将不同的图片中的不同的信息，合成到一张图片中。使合成之后的图片得到 更好的效果。因此双 camera 在第二类功能中的硬件设计中就会注意如何分别提供不同的信息。 图像融合的算法有很多种后面有时间我们看看能不能请一些后处理
跟着卷卷龙一起学 Camera-- 双摄 03
3 3D 扫描和建模，这些功能是通过不同角度下的景深图进行建模。这对景深图和算法的要求比 较高。手机上的双 camera 之间的距离有限往往能够得到的景深图的精度不够好，景深信息处理 算法复杂在手机硬件上计算的时间长，因此目前这个功能在手机上面基本没有。
跟着卷卷龙一起学 Camera-- 双摄 02
说到双摄像头现在首先应该关注 128 的应该是双摄像头能带来什么样的用户体验。双摄像头中对软件硬件结合的要求远比单摄像头要 高。而我们在看到一款使用双摄像头的手机的时候从它的硬件设计就能看出它是偏重于哪一类功 能。下图就是常见的两个摄像头在姿势差
跟着卷卷龙一起学 Camera-- 双摄 01
到底什么是双摄像头呢?它能带来什么功能呢？它为什么会比单摄像头好?首先肯 定我们说的双摄像头不是简单的将两个摄像头放到了手机上各工作各的。双摄像头是要通过两个 摄像头得到的不同图像协作得到远超过单摄像头的功能。
跟着卷卷龙一起学 Camera--DNG 格式
最近做了一个 raw 图像转换为 DNG 图像的工具，搜索了网络上的一些资料，觉得还没有一篇文章把 DNG 这个格式说得非常清晰透彻。尤其是 Adobe 的 DNG specification，全篇都是文字，让人不容易得其要领，实际上画一张图，把一个具体的 DNG 文件格式画 出来，就
