大模型应用开发实战
在接触 AI 应用开发的这段时间，我以为会像以前学.net，学 java，学 vue 一样。先整个 hello world，再一步一步学搭功能，学搭框架直到搭一个系统出来。然而，理想总是很丰满，现实很骨感。在实践的过程中各种千奇百怪的问题：
概念太多。你以为就 GPT、LLM？太年轻了，huggingface、transformers、torch、tokenizers、langchain、modelscope、fastapi、CUDA、cuDNN、Conda、vLLM、ResNet-50、top_p 等等等等....它们有些是工具，有些只是个库，有些甚至就是个参数名以及还有些我到现在都不知道是个啥。
运行代码时，经常莫名奇妙地各种报错。以前学 vue 的时候，我以为前端的包已经够混乱了，直到开始接触 AI，没有最混只有更混。
运行时间太长，且结果不确定。没有云上足够的算力和显卡，一个简单的代码运行少则 10 分钟，多则几小时，一般人是忍受不了的。就算当你历经千辛万苦程序跑完了，你会发现不太容易验证运行结果的正确性，不知道改了某个参数到底是起没起作用。
看了网上一堆 AI 开发的文章，得出两个字总结：写的都是垃圾！对，都是
在学的过程中，我就想着。等我做出个东西。一定要把这些个牛鬼蛇神给掰扯清楚。废话不多说，故事就从 hello world 说起。
工具准备
1、MiniConda 首先装这个，这个玩意有点像 docker，可以隔离多个项目的 python 环境，并且默认带有 vc++等库。为什么我把它放第一？作为一个程序员，我还是有洁癖的，开始的时候我非常不想装这玩意，直接装个 python 3.12，手动 pip install 霹雳巴拉下各种包多潇洒。直到运行一个最简单的代码缺各种依赖环境时，不但缺 python 的包，竟然还缺各种 dll，还缺 vc++运行时，当时心里各种 NMBD....然后老老实实把它装上了，一切都顺了。安装它会默认会集成 python，所以不用单独装 python。我装的版本：MiniConda3 py312_24.7.1
2、PyCharm 开发 python 的第一选择。开始我用的 vs code，调试运行各种手动命令敲烦了，还是 pycharm 按钮好使。
就先装这俩吧。
环境准备
电脑 cmd 命令提示符。设置清华的镜像,用于后面下载各种 python 的包。默认国外的镜像和.net nuget 包、java maven 库及前端 npm 包一个尿性卡的要死，只能用国内的。
新建项目
直接 pycharm 新建一个项目，名字随便起。毕竟我们是整大模型的，不是学 python 入门的。叫 llmTest 吧！如图 1：
（图 1）
这里注意：
interpreter type：就是运行环境，选 custom environment。基于 conda 新建的环境名（想象成 docker 的一个实例，这个环境只对我们这个项目有效）。界面上提供了 project venv，这种方式也可以控制项目的运行环境，想了解地自行搜索，新手不能太多选择，我就喜欢用顺手的，哈哈哈！！
path to conda：就是工具准备里面 miniconda3 的安装路径。
模型下载
目前国内外的通用大模型可以用密密麻麻来形容，gitee 上面已经收录了 1 万多个了：https://ai.gitee.com/models 。模型下载方式很多，有直接用 git lfs 下载的、有直接下文件的，还有不直接下载运行时才加载的写代码方式。关键是这种方案还挺好使。本着新手不能太多选择，直接推最顺手的原则。我用的阿里魔塔 modelscope（注意它不是模型，不是！它只是个下载工具）。直接在 pycharm 命令终端里面执行 pip install modelscope，如图 2：
（图 2）
注意图上红框的部分。这里没有用 windows 的命令终端执行，就是保证一直用的是我们刚刚创建的 conda 环境 llmTest。防止安装包的时候，装到其他找不到的位置了。也可以看出下载的源用的是我们刚刚设置的清华镜像。
新建一个 app.py。编写下载代码：
这里我以清华智谱 ChatGLM3 模型为例，下载到 D:\Transformers。如果人品不是太差的话，运行效果如下：
（图 3）
总共有 15 个 G 左右，需要等一段时间。至此一个大模型顺利下载完毕，它的结构如下图所示，别问我里面是啥，我也看不懂：
（图 4）
模型使用
以上算是完成了全部的准备工作，作为一个有效率的打工人，马上迫不及待地想看效果了。立马码字：
这段代码意图无比清晰，启动刚刚下载的 chatglm3-6b 模型，和它打个招呼，羞涩地问下：“你好”。先别急着运行，因为你运行肯定会报错（多么痛地领悟，该踩的坑我都踩完了😂）。先参考图 2，在 pycharm 命令终端依次执行以下安装命令，保证安装模型运行所需要的包：
全部安装完毕后，点击 Debug 尝试运行：
（图 5）
ChatGLM 会输出类似“你好！我是人工智能助手 ChatGLM3-6B，很高兴见到你，欢迎问我任何问题。”这样的回答。当然，就像文章开始说的结果不确定，你的结果和上面不一定相同。
视频我剪辑过，在我的电脑上，实际运行时间 5 分钟左右😂。至此最简单的模型应用开发完毕。
提供 API 支持
上面最简单的 Hello world 写完了，接下来就要为各种客户端提供接口服务了。.Net 有 WebAPI + IIS，java 有 spring boot+tomcat，大模型有 FastAPI+Uvicorn：FastAPI 用于构建应用的业务逻辑，Uvicorn 是运行这些应用的服务器。参考图 2，在 pycharm 命令终端依次执行以下安装命令：
把上面的代码微调一下：
点击 Debug 尝试运行，即可启动一个 7866 端口的 API 服务。
（图 6）
我们用 postman 等客户端工具测试一下：
（图 7）
编写客户端
服务端有了，当然要做个漂亮的客户端，总不能一直用 postman。不得不吐槽下，大模型也搞前后端分离这套🤮！.net java 有 httprequest，js 有 jquery、axios，大模型也有个出名的库 langchain，官方的解释它提供了“链”的概念，允许开发者将多个语言模型调用、API 请求、数据处理等操作链接起来，以创建更复杂的应用流程。这里你就当它是个用来封装 http 请求的客户端吧！还是按图 2 的方式先安装：
在工程里面新建一个文件 client.py。编写客户端代码：
执行一下，和它说个‘你好’，再问下它是谁，效果如下（再次友情提示：视频剪辑过，肯定没有这么快😀！！！）：
（图 8）
等等，这好像还是算不上客户端！怎么着也得个应用程序 APP 之类，再不济也得有个 Web 吧！好吧，安排！为了搞大模型的人能安心研究模型，不用花精力在界面上。市场上就出现了 2 个常用的大模型 web 界面框架 Gradio 和 Streamlit，不用去研究哪个更好，顺手就行！类似 ElementUI、AntDesign 没必要非争个你死我活的！我这里以 Gradio 为例，先安装：
在工程里面新建一个文件 webclient.py。编写网页代码：
执行一下：
（图 9）
在浏览器里面打开：http://127.0.0.1:7860 就可以看到我们的客户端。这时随便问大模型几个问题吧（再次友情提示：视频剪辑过，后面那个问题 1500 多秒！）：
（图 10）
到这里，入门流程介绍完毕。看的人多的话，我会继续介绍模型微调和训练，希望大家喜欢！
最后
经过无数的蹂躏，我开发了个小应用【i 歌词】，无任何条件免费提供全部源码。它基于 chatglm4-9b 大模型，从部署到训练，通用对话功能，核心根据歌名查歌词并创作歌词！用它来参加 gitee AI 创新应用大赛，可以在线体验，方便的话投个小票： https://ai.gitee.com/events/iluvatar-ai-app-contest/detail?app=36
（图 11）
文章转载自：李玉宝
还未添加个人签名 2023-06-19 加入
还未添加个人简介
评论