技术总结：嵌入式边缘计算和大模型学习 主赛道：技术人的 2023 总结

自我描述

作为一名技术博主，我将在本文中分享我对边缘计算和人工智能领域的一些见解以及我在这两个方向上的实践经验。其中包括我对边缘计算设备和大模型的实际操作体验，并对其进行了一些思考和总结。我目前接触了嵌入式的边缘计算和大模型。虽然接触的时间不多，也用自己的角度来发表下个人观点吧。

• 作为一个在物联网相关企业耕耘了四年多的人，其实我是从单片机开始做的，然后一边做单片机开发，偶尔搞搞嵌入式下的开发。我觉得搞懂了单片机各个模块，就比较好学习嵌入式或者服务器的硬件了。同时，其实现在大模型的学习门槛是挺高的。大模型是相对小模型而言的，需要很大的数据集（比如 10GB 的数据集拷贝需要 1 个小时之类），一般家用 GPU 不够内存，需要 GPU 服务器级别的 GPU 板卡才能跑训练。所以学习人工智能还得从小模型开始熟悉。然后跑大模型 demo。

边缘计算层面

• 本年度我就没参与什么边缘计算设备的开发了，只是会开发基于 MTK 的 MT76XX 模块的路由器，对于设备组网有了较新的认识。比如可以借用阿里云、亚马逊云等的服务器，搭建路由服务，让自己的设备可以作为服务器通过公网 IP 访问。这样可以搭建自己的计算服务器，能切入服务器运维的角色。

AI 模型层面

• 至于人工智能，从小模型开始学习的同时做做小项目的，一般都能在一次项目中就能过了好几遍的数据集整理、模型选择和搭建、模型训练、模型推理这几个部分。AI 模型，应用最广泛的场景是图像，在视觉方面 AI 是最成熟的，也是最多边缘计算设备支持的。其次是文本类，后面是语音类。这些都是机器人方面的。除了常规的拟人领域，现在人工智能算法已经慢慢进入了传统的工业领域。比如图像类 AI 能用于工业相机的识别算法，以工业相机每秒拍摄的速度和相片的分辨率，能远超于人类的视觉极限。在电力领域，用设备读取电流电压，然后用 FFT 分析，能得出当前电压电流的频域特征，然后进入 AI 算法可以对当前用电设备情况进行分析。这是人类徒手无法进入的领域。

• 至于大模型，本年年中的时候我运行了 ChatGLM2-6B 的 demo。之前一直没接触大模型，网传 ChatGPT 多厉害时候，我都只是听听而已。我到今年不知为啥有了冲动，觉得不接触就落后了。于是搜索了网上别人的博文，运行下 demo。这需要 12GB-24GB 的 GPU 才能跑的。自己的笔记本、台式机 GPU 都不够用。这我身边有两个 GPU 服务器提供商，一个是 AI-GALAXY，一家上海企业，另一个是百度 AI-STUDIO。对比了数据集拷贝，于是觉得还是前者的机器比较先进，百度 AI-STUDIO 的免费的机子也能用但不够快。前者应该是连硬盘都上了 PCIE 接口了，拷资料速度是 USB3.0 U 盘的数倍以上。然后虽然跑通了 demo，能在自己的设备上部署是量化后的模型。最后运行起来的大模型聊天系统，不知哪里问题还是说话好像总对不上的样子。

最后

• 本人在今年做的高大上的基本就这些，其他就是基础技术积累了。文中都是个人观点哈。谢谢大家阅读本文。