【腾讯云 HAI 域探秘】体验大模型的多种业务应用

随着人工智能技术的不断发展，云化数据量及业务的不断膨胀，云化大模型用于业务和数据处理成为最重要发展方向。随着 ChatGPT 推出的一夜爆火，AI 开始渗透到 ToC 端的各个领域，并开始展示出巨大优势和先进性，大模型 LLM 一夜之间为大家耳熟能详

随着 ChatGPT 推出的一夜爆火，AI 开始渗透到 ToC 端的各个领域，并开始展示出巨大优势和先进性，大模型 LLM 一夜之间为大家耳熟能详

ChatGPT 由于其问答方式真正接近于人类，人们纷纷感觉完全可以通过图灵测试，因此在上线短短几个月内，用户数量就突破了百万，甚至千万级别。这种快速增长的用户基础，在互联网上产生了广泛的影响力

大模型不仅在学术界受到关注，也在商业领域得到了广泛应用，开发出各种基于大模型的技术的产品和服务。除了聊天、绘画、写诗之外，微软基于 OpenAI 推出了 AI 智能 Office，并且在各个垂直领域发挥出优势。

腾讯云作为国内领先的云服务提供商，同样在大模型领域也有相当的积累，其近期推出的 HAI（High-Performance AI）产品就展示了其实力，值得关注。本文将深入探讨腾讯云 HAI 的基于多个应用场景的使用方法。

首先，使用 HAI 需要开通腾讯云账号，微信一扫就可以开通，此处就不多展示了；然后开通 HAI 体验

 填写完信息后，等待短信通知后即完成，

点击前往体验，即可进入使用页面

当前提供两种使用方式，一是已经构建好的 AI 模型，包括 Stable Diffusion ，ChatGLM2-6B，以及 Llama 等

二是构建好的 AI 底层框架，包括 Pytorch2 和 Tensorflow2.9

首先体验基于 Stable Diffusion (一个文本到图像的潜在扩散模型 )文生图能力,当前 HAI 支持 Gradio WebUI 和 Jupyterlab 两种处理方式，本文描述下 Web 方式的体验，由于已经配置好 Web 的部署、运行、发布环境，因此直接点击 Gradio WebUI 即可进行体验页面，直接输入文字就可以在右侧窗口中完成，操作起来非常简单。生成了一副类似三体中太空舰队的场景，如下图；可以看出非常有科技感，描绘了一个未来太空战争的场景，一艘艘巨大的太空舰艇排列整齐，犹如一支强大的舰队。这些舰艇细节满满，外壳采用了高科技材料，坚固光滑，舰身安装有各种高科技武器和设备，核聚变发动机咆哮着，仿佛正在往水滴靠近。

其次体验基于 Pytorch 框架搭建姓名生成器，基于 Pytorch 框架基于 Jupyterlab 进行开发，

点击后进入开发小伙伴都熟悉的页面，首先进入 ubuntu os 的操作页签

按照 HAI 实验课题的操作知道，一步步进行

1 下载训练数据集

输入“cd /root

wget https://gitee.com/mmliujc/tencent_gpu/raw/master/data.zip

unzip data”建立训练数据

2 建立操作环境

完成后创建 NoteBook 的 Python 可执行页面，选择 Python3

3 转换训练数据，得到字典

4 创建网络，使用类别张量网络，通过增加一个 one-shot 额外参数作为概率值，再增加第二个线性层 o2o（在隐藏层和输出层合并后），用于增强处理能力，最后定义一个 dropout 层，以给定的概率随机将部分输入归零，用于模糊输入以防止过拟合

5 开始每个训练集，分别为一组输入字母对应一组输出/目标字母

训练每一步中都进行一次预测，在每一步都计算损失，当前简单地将每一步的损失相加，并在最后进行反向传播，启动训练，完成后得到模型

6 推理验证

创建随机初始字幕，作为第一个字幕输入到网络，预测得到下一个字母，并将其作为下一个输入的字母，重复此过程直到遇到 EOS，结束推理，得到推理出的姓名文本。可以看到可以得到不同语言的推理结果

最后，结合最近工作中问题，输入文本进行信息抽取，同样由于已经预置好 ChatGLM2 模型，因此建立使用也非常简单，最简单的是采用 Web 方式，建立好后，直接得到大模型的对话页面。

首先做信息抽取，按照下图中输入的语句，进行分析，得到时间和处理对象，通过利用得到的抽取信息，作为 Key 值查询后端数据库，得到想要的结果，可以应用到实际的业务项目运维处理中。

可以看到抽取的信息还是比较准确，又变换了时间信息进行提问

(2)帮忙生成训练数据，预期是利用大模型的理解和列举能力，基于现有的一条训练数据样本，给出一定条件，给出 20 条同等含义的训练数据，结果如下图

预期是 HAI 可以变换时间格式和处理对象就是宾语，即网络安全，生成不同的训练数据，当然也可能是我没有把握准 HAI 的输入关键词技巧，这次并未收到预期的效果；相比于其他平台效果感觉还可以加强

可以看出腾讯云 HAI 是一个功能强大、易于使用的 AI 计算平台，提供了高性能的 AI 算力资源和服务，可以在短短几分钟内构建如 StableDiffusion、ChatGLM 等热门模型的应用环境，提供 WebUI 应用无代码方式和 JupyterLab 运行低代码方式，大大降低了调试的复杂度。

除了 HAI 外，腾讯云还是有其他 AI 产品，像人工智能的基础类产品和应用类产品，如下，如果有业务机会后续也会尝试

文末提几点个人的感觉和建议

首先，大模型代表了 AI 和深度学习在自然语言处理领域的最新进展，正在彻底改变 NLP 任务的状态，并催生出更强大、更智能的语言技术，对于大模型的发展这条路毋庸置疑应该是要坚持的。

其次，不知道 ChatGLM2 的 web 后续是否会类似 ChatGPT 那样开放使用，因为对于 AI 模型最重要的是要用起来，用起来才能收集更多数据，才能 Touch 到更多的业务场景；同时当前 ChatGLM2 的 web 在用户体验上，是否考虑增加类似重生生成按钮、输入框支持记录回滚输入、对于给出的结果支持用户评估是否符合预期等等，除了用户方便执行外，也便于问题的收集、分类和处理。

最后，预置模型类型和级别的不断丰富，毕竟随着的大模型的不断发展，无论训练、推理或者部署需要的资源和时间越来越大，对于一些特定场景化的应用并不是特别友好，而各场景有各场景最适合的模型，因此是否可以发布一些满足要求一些特定场景的小模型，又或者大模型是否可以使用蒸馏等技术做压缩数据量和计算精度处理，这样可以占用更少的资源，甚至部分模型可以基于 CPU 就可以运行，这样就可以直接部署到腾讯云的现有用户运行环境，让更多用户参与更方便应用。