LLM- 结合三元组 SPO 和提示工程来试用 Baichuan2-7B-Chat-4bits 模型
![LLM-结合三元组SPO和提示工程来试用Baichuan2-7B-Chat-4bits模型](https://static001.geekbang.org/infoq/10/1091f7e4bd60f7af23f78006be431543.jpeg)
概述
《LLM-结合三元组 SPO 和提示工程来试用 Baichuan2-7B-Chat-4bits 模型》近期对 LLM 进行了一些应用场景的思考,其中很简单的一个场景是客服,假设目前所有的知识信息都在一个 Excel 文档中,首先将其转换为三元组关系,然后结合提示工程技术向 LLM 进行提问,期望得到反馈。
效果
最左侧是一个 Excel 表格,包含商品信息,中间的文字部分是将 Excel 中的数据转换为三元组 SPO 信息,并且添加上如图所示的提示工程,右侧是模型返回的结果,可以看到能够按照要求返回数据。
![](https://static001.geekbang.org/infoq/2b/2b9f0aa77401b359590ec56e550e62fa.jpeg?x-oss-process=image%2Fresize%2Cp_80%2Fauto-orient%2C1)
调用
在安装 Baichuan2-7B-Chat-4bits 后,使用如下代码进行调用,得到返回结果。
复制代码
部署
复制代码
总结
百川的 Baichuan2-7B-Chat-4bits 量化模型,在实际部署的时候,显存占用 10G 左右,略高于其他人的实验结果,对消费级显卡也有一定要求。
前期之所以选择 Baichuan2-7B-Chat-4bits 量化模型,其实是想尽可能降低对硬件环境的要求,实际部署的过程中,硬件要求会比预期的高。
实践过程中,暂未选择私有知识库的形式,也未做出对比,后续会进一步进行对比实现。
参考
版权声明: 本文为 InfoQ 作者【alexgaoyh】的原创文章。
原文链接:【http://xie.infoq.cn/article/3ed6f652cdf1c2399c3dc48e2】。
本文遵守【CC-BY 4.0】协议,转载请保留原文出处及本版权声明。
评论