用于双目重建中的 GPU 编程：julia-cuda
作者：京东科技 李大冲
一、Julia 是什么
julia 是 2010 年开始面世的语言，作为一个 10 后，Julia 必然有前辈们没有的特点。Julia 被期望塑造成原生的有 C++的运行速度、python 的易交互性以及胶水性。最重要的是，julia 也是 nVidia-cuda 官方选中的接口语言，这点让 cuda 编程变得稍微容易一些。
二、项目背景
双目立体视觉是比较常规获取深度信息的算法。这是一种模仿人的双眼的方法，根据对同一个点在不同的视角进行观察，并在不同的观察视角上的观察差异推算出深度，这在图 1 中更清晰一点。被动双目的缺点是需要纹理特征去判断左右相机里是否为同一个点。也就是，当没有问题、纹理不够明显或者纹理重复时，这种方法难以工作。
图 1 被动双目示意图。 观测点在一个相机和在另外一个相机上的成像是有明显可区分性的，二者的观察差异（L1 和 L2）形成了视差，进而可形成深度信息
被动双目的缺点是某些场景下无效，主动双目便出现了。如果我们投射一些人工设定编码的图案，根据实现约定通过解码可以对视野内是所有点赋予唯一的标识符号，那被动双目的问题不就解决了吗。事实上，人们很快发现可以使用空间上编码和时间上编码两种方式。空间上编码，就像人们观察银河命名星座一样，去投射随机生成的星星点点的光斑，没有纹理的夜空照射进了完全可辨识的图案。如同星座往往是一个空间范围很大的概念，空间编码的方式无法做到非常精细。所以，时间编码的方式应运而生，时间编码是投射一组图案，让被照射的区域，被照射的明暗变化情况是完全不一样的。像图 2 中的二进制编码（或行业内称为格雷码），再加上灰度变化更加丰富的编码方式以及相机在竖方向上对齐之后是只需要考虑横轴方向上的差异这两点，可以实现全视野的点完全可区分。
图 2 空间编码和时间编码。空间编码如同银河中的星星点点，通过组合星点变为星座，人们可以对深邃夜空不同位置依靠银河区分开。时间编码是投射多组图案，让每一个点是时间上都有唯一的变化情况。就像右图，这 16 个方格都是完全可区分的。
三、效率问题
使用主动双目的结构去重建，一个很大的影响运行效率的问题是需要对左右图像求算视差（原理如图 1 所示）。具体求算视差的操作是要对左相机里的每一个点，去找右相机中同一行中与之距离最近的点的横坐标，然后继续插值之后找到距离更近的插值坐标，最后把这两个坐标的差异当作视差进行后续的计算。
使用时间编码的主动双目，按照实现约定的编码进行解码之后，其效果如图 3 所示，这个环节就是在这对数据上进行处理。以此数据为例，有效区域大概是 700850，完全遍历所需要的时间复杂度大概是 O(700850*850)，直接估算就很耗时。
图 3 时间编码解码后的图像示意图。左右相机拍摄的图案编程了解码值。接下来需要在这对数据上计算视差，而确定相同编码值需要大量的遍历，对相同编码进一步的优化还要对每个点进行小范围的插值处理，时间复杂度很大。
图 4 视差图效果
1. 使用 for 训练的方式
使用 for 循环，需要 3 层。经测试后，在 TX2 上，使用 c++来完成大概需要 7s 多。
2. 使用 numpy 的矩阵操作来实现
代码如下，使用 numpy 的广播的原理来实现，然后通过一系列的过滤异常值后，再经过插值进一步的处理得到最终想要的结果。
这段代码没有进一步的去实现插值的过程，耗时情况为 1.35s。
3. 使用 julia-cuda 实现
这段主要是 cuda 核函数的部分，主要包括以下部分：
1）用到了 512*700 个 cuda 线程来实现，增加的并行计算抵消了单个点位计算耗时。
2）还用到了共享显存，降低读取数据的耗时，因为右图中的每一行都会被左图中的同行中的每一个元素加载一遍，对于元素 for 循环是 840*840 的时间空间复杂度。这儿加载一遍，就可以让这些线程同时看到了。
3）对于上述过程中提到的插值一事，使用 cuda 的纹理内容轻松搞定，因为纹理内存的一个特性就是插值。即对于一个向量，可以取得到下标不是整数时的值，这些值就是自动插值出现的，且此过程的资源消耗非常低，因为这部分的初始设计是为了图像渲染和可视化。
4）通过这部分代码，实现相同的效果在 TX2 上的耗时是 165ms，快了近 10 倍。
4. 使用金字塔原理再次加速
1）这部分和上述代码的区别是，没有让少于列数目的线程进行多次运算，(上述代码中有个自增操作，是让线程进行了多次运算，原因是可分配线程总数不够)
2）整体是金字塔模式，即相邻者相似的原理。
3）时间消耗在 TX2 上降低到了 72ms，相比于前一种方法又有了 58%的降幅。
四、总结
julia 作为一个交互性强的语言，在上述目的的达成上，它至少是做到了。对于上述算是一个标准的 cuda 加速过程，用 cuda-c 进行编写的话，也是类似的过程，典型操作。但是 c++编写的可视化、调试、最终的编译要麻烦的多得多得多。julia 达到高效率的目的的同时，让编写的过程没有那么痛苦，堪称完美的一次体验。
版权声明: 本文为 InfoQ 作者【京东科技开发者】的原创文章。
原文链接:【http://xie.infoq.cn/article/63851778665bdfa7c0d205812】。文章转载请联系作者。
拥抱技术，与开发者携手创造未来！ 2018-11-20 加入
我们将持续为人工智能、大数据、云计算、物联网等相关领域的开发者，提供技术干货、行业技术内容、技术落地实践等文章内容。京东云开发者社区官方网站【https://developer.jdcloud.com/】，欢迎大家来玩
评论