2023 移动端技术探索

1. 行业背景

过去的 2022 年对大家来说都是困难的一年，难在疫情影响，难在宏观环境的增长放缓。没有增长带来的就是痛苦的体验，对于互联网行业，21 年的主题是“反 996”，到了 22 年风向就变成了“降本增效”、“业务搜索”以及“裁员”。再细化动移动端，经过十年的发展，它已经步入“成熟期”，各行各业都被改造差不多了，技术上该有的轮子都有了，基础的服务也搭建差不多了，似乎真正到达瓶颈了，存量时代的小修小补对人力的需求已经是对半砍了。脉脉《抢滩数字时代·人才迁徙报告 2023》报告显示：2022 年企业招聘总职位数量同比减少 21.67%，纯互联网职位量同比减少 50.4%。

又到了制定新一年 OKR 的时候了，大家都在发愁技术项目的规划，不知道在技术上去做哪些探索和突破。InfoQ 发布的《中国软件技术发展洞察和趋势预测研究报告 2023》第三条核心结论显示：2022 年技术服务理念转变，从技术先进到业务赋能，IT 部门公司定位逐渐由成本部门转向业务赋能部门，技术也更被边缘化了，个人职业发展屏障出现，这个时候我们不禁对前途迷茫甚至产生质疑。再细化到移动端，《中国软件技术发展洞察和趋势预测研究报告 2023》展示的“中国技术成熟度评估曲线”中前沿和早期推广项目貌似都与移动端没有太大关系。

本文尝试从各个方面探索移动端可以发展的方向，最大程度的“压榨”可能的技术方向（有些只是抛出问题，而不是最终答案）。

2. 近两年大厂探索方向与成果

在挖掘之前先看看大厂（可能是某个领域有所建树）这些年在做什么，看看有没有直接可以抄的作业。

2.1 21 年出调研结果

21 年初写 OKR 时对几个大厂做了调研，下面分别看看阿里、美团、京东做了什么，准备做什么：

阿里移动端技术全景图

阿里移动端发展趋势

美团移动端技术全景图

京东移动端技术全景图

京东移动端未来远景图

看起来都大同小异，可能各个规模的公司都在建设或者建设完成。

2.2 22 年产出

在看看 22 年大厂的输出，这里主要来自于企业技术公众号输出内容。

2.2.1 阿里

阿里推出的《2022 技术人的百宝黑皮书》总结了 2022 年阿里年度精选终端技术栈的内容：

2.2.2 美团

下面内容摘自美团技术发布的《2022 年美团技术年货-合辑》：

2.2.3 百度

百度 App 技术公众号发布 2022 精选文章：

2.2.4 分析

从上面三家企业对外输出的文章看，在移动端的动作不外乎几个方向：

1. 跨端/低代码

2. 性能优化

3. 自动化测试

4. 开发平台/平台化能力

5. AI

3. 移动端主要方向分析

结合上面整理出来的，我们看看移动端“可以”有哪些方向。

3.1 业务开发

业务开发还是主流的市场需求，这块会占大部分的比例，IT 部门从成本部门转为赋能部门后，主要的工作量就是支持业务。

3.2 跨端/低代码

在降本增效的背景下，跨端还会持续搞，但是也不是新东西了。H5、React、Flutter、小程序，这些都各有利弊，不同场景用不同技术，像小程序这种更适合平台化的超级 APP，规模不够大的话，性价比不高。

3.3 性能优化

同样的，性能优化也是需要持续做的事情，但是也不是新东西了，一些技术手段都比较成熟了，没有太多可挖掘的空间了。

3.4 架构方向

架构管理方向随着规模的收缩，很难出现机会了。

3.5 开发平台建设

在公司内部，类似于蚂蚁的 mPaas 开发平台在业务快速成长期对提效会有很大的帮助，这个时候随着业务的裂变，推出各种 APP，开发平台可以避免很多重复的工作，助力应用快速上线和运营，但是在收缩期再去建设就有点不划算了。

单点的平台能力，比如监控、埋点之类的或者用第三方或者也自建完成了，对缺失的个别能力，可以根据业务需求点滴建设。

3.6 系统应用/Framework/驱动开发

随着 AI、Iot、新能源的发展与兴起，释放出一些系统开发的诉求，相对于之前，嵌入式驱动开发的薪资也有所增长，也算是一个方向，但是也要记住，比起手机，电视、汽车毕竟是少数，如果纯转嵌入式的话可能沾 Iot 的光规模更大些，不过比起芯片，这也是比较成熟的技术，可挖掘方向不大，只是多了个写业务的战场。

3.7 XR

目前比较成熟的是 VR，但是 VR 在端上展示主要基于 H5，采集会有单独硬件，有些也支持了手机采集，但是还是那句话，市场需求不大。至于 AR、元宇宙更多的是 AI 的综合应用了，我们也不讨论了。

3.8 音视频

音视频一直是移动端比较大和前沿的一块方向，但是现在也已趋于成熟，下面看看主要的几个方向：

• 点播：播放器的事情，主要涉及多解码期、预加载秒开，剩下的交给系统播放器都可以完成的很好了；

• 录制：系统录制工具，或者基于系统采集、编码、封装封装一套；

• 视频编辑和特效处理：编辑主要是解复用--->解码--->逐帧处理--->编码--->复用的过程，逐帧处理用到视频上主要设计合成、滤镜等；音频主要是变声、声音融合，都是通用的技术，稍微体现差异的就是特效处理中与 AI 的结合，比如美颜、带眼镜等会用到图像检测，但是都不是门槛，也谈不上前沿探讨；

• 直播：直播也同样有成熟的结局方案：采集推流，开源服务端以及成熟 CDN，播放 ijk，秒开之类的都是参数优化了；

• 实时音视频：实时音视频开发成本比较高，主要的挑战是弱网对抗，3A 处理等，由于不是通用协议，没有 CDN，自己搭建机房成本高，而且不见得效果比第三方好，所以也是一件性价比比较低的事情。

• 编解码：目前主流的还是 H264，VP8，H264 甚至都没有推开，限制编解码算法的主要是推广和兼容性，所以编解码器都是一些组织去搞，一个公司贸然去开发，风险很大。

3.9 AI

人类一直在追求更智能的机器，AI 是未来，所以即使现在不够好，并且没有找到太多的落地场景，但是很多公司还在搞，尤其是 ChatGPT 的能力让大家惊讶，但是它仍然不是真正的“像人类一样”的智能。目前通用的 AI 主要有一下几个方向：

1. 语音方向

2. 前端信号处理

3. 唤醒

4. 语音识别

5. 声纹

6. TTS

7. 作曲：抖音之前分享有过这方面实践和应用

8. 基于特征的语音编码：比如谷歌推出的的 lyra 和 SoundStream，Lyra 的设计工作速率为 3kbps，听力测试表明，在该比特率下，Lyra 的性能优于任何其他编解码器，并优于 Opus 的 8kbps，因此实现了 60%以上的带宽削减。但是正如上面说的，编解码器的瓶颈主要还是在于标准的推广。

9. 图像方向

10. 检测

11. 识别

12. 图像比较（应用于 UI 自动化测试）

13. 自然语言处理

14. 智能问答

15. 意图识别

16. 文档纠错

17. 风控

18. 推荐

19. 用户画像

20. 元宇宙/数字人：数字人更像是一个 AI 的综合应用。

还有些特殊的特殊业务场景的特殊用户，比如房产领域：

1. 户型解读（基于图像的特殊特征）

2. 训练场

对于 AI，移动端可以做哪些探索？回答这个问题先要搞明白哪些场景适配放在端上来做。Android官方给了一个决策的标准：

上面提到的特别需要在端上应用的主要有：

1. 唤醒

2. 图像检测

3. 语音编解码

可以放在端上应用的：

1. ASR

2. TTS

3. 图像标签

基于这些场景端上的主要工作量是什么呢？模型训练大部分还是放在云端，端上就是加载模型，输入数据，展示输出结果，还有可能就是对引擎，框架做些优化：

4. 总结

整体来看，整个移动端技术的发展可以说到了“山穷水尽”的地步，可挖掘的创新型内容不是很多了，大部分都是在现有体系维护和迭代。整体来看业务支撑还是主要的需求来源，车机、Iot 也释放出一些机会，跨端、开发平台、性能优化、VR 已趋于成熟，端智能落地的还是语音、图像这些通用的方向，深度结合业务的还有待挖掘。目前的 AI 解决的还是“决策”问题，从现在生成式到未来创造式通用的、”人类水平“的“智能”还有很长的路要走，谁也不能打包票说雷·库兹韦尔提出的奇点理论的“奇点”能不能到来，什么时候到来，智能的进化不止是算法层面的，还会收到算力的影响，像《流浪地球》系列中的 MOSS 机器人是因为量子计算机算力快的加成。