检索增强生成(RAG)实践：基于 LlamaIndex 和 Qwen1.5 搭建智能问答系统
LLM 会产生误导性的 “幻觉”，依赖的信息可能过时，处理特定知识时效率不高，缺乏专业领域的深度洞察，同时在推理能力上也有所欠缺。
正是在这样的背景下，检索增强生成技术（Retrieval-Augmented Generation，RAG）应时而生，成为 AI 时代的一大趋势。RAG 通过在语言模型生成答案之前，先从广泛的文档数据库中检索相关信息，然后利用这些信息来引导生成过程，极大地提升了内容的准确性和相关性。RAG 有效地缓解了幻觉问题，提高了知识更新的速度，并增强了内容生成的可追溯性，使得大型语言模型在实际应用中变得更加实用和可信。
一个典型的 RAG 的例子：
这里面主要包括包括三个基本步骤：
索引 — 将文档库分割成较短的 Chunk，并通过编码器构建向量索引。
检索 — 根据问题和 chunks 的相似度检索相关文档片段。
生成 — 以检索到的上下文为条件，生成问题的回答。
1.通义千问 Qwen 1.5
1.1 简介
Qwen1.5 版本年前开源了包括 0.5B、1.8B、4B、7B、14B 和 72B 在内的六种大小的基础和聊天模型，同时，也开源了量化模型。不仅提供了 Int4 和 Int8 的 GPTQ 模型，还有 AWQ 模型，以及 GGUF 量化模型。为了提升开发者体验，Qwen1.5 的代码合并到 Hugging Face Transformers 中，开发者现在可以直接使用 transformers>=4.37.0 而无需 trust_remote_code。
与之前的版本相比，Qwen1.5 显著提升了聊天模型与人类偏好的一致性，并且改善了它们的多语言能力。所有模型提供了统一的上下文长度支持，支持 32K 上下文。还有，基础语言模型的质量也有所小幅改进
Qwen1.5 全系列统一具备强大的链接外部系统能力（agent/RAG/Tool-use/Code-interpreter）
正因为 Qwen1.5 作为中文 LLM 率先合入了 Transformers，我们也可以使用 LLaMaIndex 的原生 HuggingFaceLLM 来加载模型。
当前基础模型已经稳定训练了大规模高质量且多样化的数据，覆盖多语言（当前以中文和英文为主），总量高达 3 万亿 token。在相关基准评测中，Qwen 系列模型拿出非常有竞争力的表现，显著超出同规模模型并紧追一系列最强的闭源模型。此外，我们利用 SFT 和 RLHF 技术实现对齐，从基座模型训练得到对话模型。Qwen-Chat 具备聊天、文字创作、摘要、信息抽取、翻译等能力，同时还具备一定的代码生成和简单数学推理的能力。在此基础上，我们针对 LLM 对接外部系统等方面针对性地做了优化，当前具备较强的工具调用能力，以及最近备受关注的 Code Interpreter 的能力和扮演 Agent 的能力。我们将各个大小模型的特点列到了下表。
Qwen 系列模型相比同规模模型均实现了效果的显著提升。我们评测的数据集包括 MMLU、C-Eval、 GSM8K、 MATH、HumanEval、MBPP、BBH 等数据集，考察的能力包括自然语言理解、知识、数学计算和推理、代码生成、逻辑推理等。Qwen-72B 在所有任务上均超越了 LLaMA2-70B 的性能，同时在 10 项任务中的 7 项任务中超越 GPT-3.5.
1.2 推理性能
测算了 BF16、Int8 和 Int4 模型在生成 2048 个 token 时的平均推理速度（tokens/s）和显存使用。结果如下所示：
1.3 训练需要配置
下面记录 7B 和 14B 模型在单 GPU 使用 LoRA（LoRA (emb)指的是 embedding 和输出层参与训练，而 LoRA 则不优化这部分参数）和 QLoRA 时处理不同长度输入的显存占用和训练速度的情况。本次评测运行于单张 A100-SXM4-80G GPU，使用 CUDA 11.8 和 Pytorch 2.0，并使用了 flash attention 2。我们统一使用 batch size 为 1，gradient accumulation 为 8 的训练配置，记录输入长度分别为 256、512、1024、2048、4096 和 8192 的显存占用（GB）和训练速度（s/iter）。我们还使用 2 张 A100 测了 Qwen-7B 的全参数微调。受限于显存大小，我们仅测试了 256、512 和 1024token 的性能。
对于 Qwen-7B，我们额外测试了多机微调的性能。我们在两台服务器上运行评测，每台服务器包含两张 A100-SXM4-80G GPU，其余配置与 Qwen-7B 的其他评测相同。多机微调的结果在表中以 LoRA (multinode) 标示。对于 Qwen-72B，我们测试了两种方案：1）使用 4 个 A100-SXM4-80G GPUs，通过 Lora + DeepSpeed ZeRO 3 微调和 2）使用单张 A100-SXM4-80G GPU，通过 QLora (int4) 微调。请注意，使用 LoRA (emb) 微调和不带 DeepSpeed ZeRO 3 的 LoRA 微调在 4 个 A100-SXM4-80G GPUs 上都会出现 OOM（你可以通过将--deepspeed finetune/ds_config_zero3.json参数传给finetune/finetune_lora_ds.sh来打开 DeepSpeed ZeRO 3 配置）。
具体数值如下所示：
2. LLaMaIndex
2.1 简介
LlamaIndex 是一个基于 LLM 的应用程序的数据框架，受益于上下文增强。 这种 LLM 系统被称为 RAG 系统，代表 “检索增强生成”。LlamaIndex 提供了必要的抽象，可以更轻松地摄取、构建和访问私有或特定领域的数据，以便将这些数据安全可靠地注入 LLM 中，以实现更准确的文本生成。
首先，它有助于“摄取”数据，这意味着将数据从原始来源获取到系统中。其次，它有助于“结构化”数据，这意味着以语言模型易于理解的方式组织数据。第三，它有助于“检索”，这意味着在需要时查找和获取正确的数据。最后，它简化了“集成”，使您更容易将数据与各种应用程序框架融合在一起。
LllamaIndex 以专用索引的形式提供独特的数据结构：
向量存储索引：最常用，允许您回答对大型数据集的查询。
树索引：对于总结文档集合很有用。
列表索引：对于合成一个结合了多个数据源信息的答案很有用。
关键字表索引：用于将查询路由到不同的数据源。
结构化存储索引：对于结构化数据（例如 SQL 查询）很有用。
知识图谱索引：对于构建知识图谱很有用。
LlamaIndex 有用性的核心是其有助于构建 LLM 应用程序的功能和工具。在这里，我们详细讨论它们：
LlamaIndex 提供数据连接器，可以提取您现有的数据源和格式。无论是 API、PDF、文档还是 SQL 数据库，LlamaIndex 都可以与它们无缝集成，为您的 LLM 准备数据。
使用 LLM 的主要挑战之一是以易于使用的方式构建数据。LlamaIndex 提供了在索引或图表中构建数据的工具。
LlamaIndex 不仅仅是摄取和构建数据。它还为您的数据提供高级检索或查询界面。只需输入任何 LLM 输入提示，LlamaIndex 将返回检索到的上下文和知识增强输出。
LlamaIndex 允许与您的外部应用程序框架轻松集成。您可以将它与 LangChain、Flask、Docker、ChatGPT 以及您的项目可能需要的任何其他工具一起使用。
无论您的熟练程度如何，LlamaIndex 都能满足您的需求。初学者用户会喜欢高级 API，它允许使用 LlamaIndex 以仅五行代码来摄取和查询他们的数据。另一方面，高级用户可以根据需要利用较低级别的 API 自定义和扩展任何模块（数据连接器、索引、检索器、查询引擎、重新排名模块）。
2.2 快速使用
import osos.environ["OPENAI_API_KEY"] = 'YOUR_OPENAI_API_KEY' from llama_index import GPTVectorStoreIndex, SimpleDirectoryReaderdocuments = SimpleDirectoryReader('data').load_data()index = GPTVectorStoreIndex.from_documents(documents) #o query:query_engine = index.as_query_engine()query_engine.query("<question_text>?") #By default, data is stored in-memory. To persist to disk (under ./storage):index.storage_context.persist() #To reload from disk:from llama_index import StorageContext, load_index _from_storage#rebuild storage contextstorage_context = StorageContext.from_defaults(persist_dir='./storage')#load indexindex = load_index_from_storage(storage_context)
复制代码
LlamaIndex 不仅仅是一个数据框架；它是更大的工具和资源生态系统的一部分：LlamaHub：数据加载器的社区库。LlamaLab：使用 LlamaIndex 的尖端 AGI 项目平台。
3.GTE 文本向量
3.1 简介
文本表示是自然语言处理 (NLP) 领域的核心问题, 其在很多 NLP、信息检索的下游任务中发挥着非常重要的作用。近几年, 随着深度学习的发展，尤其是预训练语言模型的出现极大的推动了文本表示技术的效果, 基于预训练语言模型的文本表示模型在学术研究数据、工业实际应用中都明显优于传统的基于统计模型或者浅层神经网络的文本表示模型。这里, 我们主要关注基于预训练语言模型的文本表示。
文本表示示例, 输入一个句子, 输入一个固定维度的连续向量:
输入: 吃完海鲜可以喝牛奶吗?
输出: [0.27162,-0.66159,0.33031,0.24121,0.46122,...]
文本的向量表示通常可以用于文本聚类、文本相似度计算、文本向量召回等下游任务中。
基于监督数据训练的文本表示模型通常采用 Dual Encoder 框架, 如下图所示。在 Dual Encoder 框架中, Query 和 Document 文本通过预训练语言模型编码后, 通常采用预训练语言模型 [CLS] 位置的向量作为最终的文本向量表示。基于标注数据的标签, 通过计算 query-document 之间的 cosine 距离度量两者之间的相关性。
具体训练方法请参考论文 Towards General Text Embeddings with Multi-stage Contrastive Learning。
使用方式:直接推理,对给定文本计算其对应的文本向量表示，向量维度 768
使用范围:本模型可以使用在通用领域的文本向量表示及其下游应用场景, 包括双句文本相似度计算、query & 多 doc 候选的相似度排序
在 ModelScope 框架上，提供输入文本 (默认最长文本长度为 128)，即可以通过简单的 Pipeline 调用来使用 GTE 文本向量表示模型。ModelScope 封装了统一的接口对外提供单句向量表示、双句文本相似度、多候选相似度计算功能
3.2 代码示例
from modelscope.models import Modelfrom modelscope.pipelines import pipelinefrom modelscope.utils.constant import Tasks
model_id = "iic/nlp_gte_sentence-embedding_chinese-base"pipeline_se = pipeline(Tasks.sentence_embedding, model=model_id, sequence_length=512 ) # sequence_length 代表最大文本长度，默认值为128
#当输入包含“soure_sentence”与“sentences_to_compare”时，会输出source_sentence中首个句子与sentences_to_compare中每个句子的向量表示，以及source_sentence中首个句子与sentences_to_compare中每个句子的相似度。inputs = { "source_sentence": ["吃完海鲜可以喝牛奶吗?"], "sentences_to_compare": [ "不可以，早晨喝牛奶不科学", "吃了海鲜后是不能再喝牛奶的，因为牛奶中含得有维生素C，如果海鲜喝牛奶一起服用会对人体造成一定的伤害", "吃海鲜是不能同时喝牛奶吃水果，这个至少间隔6小时以上才可以。", "吃海鲜是不可以吃柠檬的因为其中的维生素C会和海鲜中的矿物质形成砷" ] }
result = pipeline_se(input=inputs)print (result)'''{'text_embedding': array([[ 1.6415151e-04, 2.2334497e-02, -2.4202393e-02, ..., 2.7710509e-02, 2.5980933e-02, -3.1285528e-02], [-9.9107623e-03, 1.3627578e-03, -2.1072682e-02, ..., 2.6786461e-02, 3.5029035e-03, -1.5877936e-02], [ 1.9877627e-03, 2.2191243e-02, -2.7656069e-02, ..., 2.2540951e-02, 2.1780970e-02, -3.0861111e-02], [ 3.8688166e-05, 1.3409532e-02, -2.9691193e-02, ..., 2.9900728e-02, 2.1570563e-02, -2.0719109e-02], [ 1.4484422e-03, 8.5943500e-03, -1.6661938e-02, ..., 2.0832840e-02, 2.3828523e-02, -1.1581291e-02]], dtype=float32), 'scores': [0.8859604597091675, 0.9830712080001831, 0.966042160987854, 0.891857922077179]}'''
#当输入仅含有soure_sentence时，会输出source_sentence中每个句子的向量表示。inputs2 = { "source_sentence": [ "不可以，早晨喝牛奶不科学", "吃了海鲜后是不能再喝牛奶的，因为牛奶中含得有维生素C，如果海鲜喝牛奶一起服用会对人体造成一定的伤害", "吃海鲜是不能同时喝牛奶吃水果，这个至少间隔6小时以上才可以。", "吃海鲜是不可以吃柠檬的因为其中的维生素C会和海鲜中的矿物质形成砷" ]}result = pipeline_se(input=inputs2)print (result)'''{'text_embedding': array([[-9.9107623e-03, 1.3627578e-03, -2.1072682e-02, ..., 2.6786461e-02, 3.5029035e-03, -1.5877936e-02], [ 1.9877627e-03, 2.2191243e-02, -2.7656069e-02, ..., 2.2540951e-02, 2.1780970e-02, -3.0861111e-02], [ 3.8688166e-05, 1.3409532e-02, -2.9691193e-02, ..., 2.9900728e-02, 2.1570563e-02, -2.0719109e-02], [ 1.4484422e-03, 8.5943500e-03, -1.6661938e-02, ..., 2.0832840e-02, 2.3828523e-02, -1.1581291e-02]], dtype=float32), 'scores': []}'''
复制代码
默认向量维度 768, scores 中的 score 计算两个向量之间的内成积距离得到
#需在GPU环境运行#加载数据集过程可能由于网络原因失败，请尝试重新运行代码from modelscope.metainfo import Trainers from modelscope.msdatasets import MsDatasetfrom modelscope.trainers import build_trainerimport tempfileimport os
tmp_dir = tempfile.TemporaryDirectory().nameif not os.path.exists(tmp_dir): os.makedirs(tmp_dir)
#load datasetds = MsDataset.load('dureader-retrieval-ranking', 'zyznull')train_ds = ds['train'].to_hf_dataset()dev_ds = ds['dev'].to_hf_dataset()model_id = 'iic/nlp_gte_sentence-embedding_chinese-base'def cfg_modify_fn(cfg): cfg.task = 'sentence-embedding' cfg['preprocessor'] = {'type': 'sentence-embedding','max_length': 256} cfg['dataset'] = { 'train': { 'type': 'bert', 'query_sequence': 'query', 'pos_sequence': 'positive_passages', 'neg_sequence': 'negative_passages', 'text_fileds': ['text'], 'qid_field': 'query_id' }, 'val': { 'type': 'bert', 'query_sequence': 'query', 'pos_sequence': 'positive_passages', 'neg_sequence': 'negative_passages', 'text_fileds': ['text'], 'qid_field': 'query_id' }, } cfg['train']['neg_samples'] = 4 cfg['evaluation']['dataloader']['batch_size_per_gpu'] = 30 cfg.train.max_epochs = 1 cfg.train.train_batch_size = 4 return cfg kwargs = dict( model=model_id, train_dataset=train_ds, work_dir=tmp_dir, eval_dataset=dev_ds, cfg_modify_fn=cfg_modify_fn)trainer = build_trainer(name=Trainers.nlp_sentence_embedding_trainer, default_args=kwargs)trainer.train()
复制代码
3.3 模型效果评估
4.魔搭社区最佳实践
4.1 逐步解析
环境配置与安装
python 3.10 及以上版本
pytorch 1.12 及以上版本，推荐 2.0 及以上版本
建议使用 CUDA 11.4 及以上本文主要演示的模型推理代码可在魔搭社区免费实例 PAI-DSW 的配置下运行（显存 24G） ：
第一步：点击模型右侧 Notebook 快速开发按钮，选择 GPU 环境
安装依赖库 1
!pip install llama-index llama-index-llms-huggingface ipywidgets!pip install transformers -Uimport loggingimport sys
logging.basicConfig(stream=sys.stdout, level=logging.INFO)logging.getLogger().addHandler(logging.StreamHandler(stream=sys.stdout))
from IPython.display import Markdown, displayimport torchfrom llama_index.llms.huggingface import HuggingFaceLLMfrom llama_index.core.prompts import PromptTemplatefrom modelscope import snapshot_downloadfrom llama_index.core.base.embeddings.base import BaseEmbedding, Embeddingfrom abc import ABCfrom typing import Any, List, Optional, Dict, castfrom llama_index.core import ( VectorStoreIndex, ServiceContext, set_global_service_context, SimpleDirectoryReader,)
复制代码
因为 Qwen 本次支持了 Transformers，使用 HuggingFaceLLM 加载模型，模型为（Qwen1.5-4B-Chat）1
#Model names qwen2_4B_CHAT = "qwen/Qwen1.5-4B-Chat"
selected_model = snapshot_download(qwen2_4B_CHAT)
SYSTEM_PROMPT = """You are a helpful AI assistant."""
query_wrapper_prompt = PromptTemplate( "[INST]<<SYS>>\n" + SYSTEM_PROMPT + "<</SYS>>\n\n{query_str}[/INST] ")
llm = HuggingFaceLLM( context_window=4096, max_new_tokens=2048, generate_kwargs={"temperature": 0.0, "do_sample": False}, query_wrapper_prompt=query_wrapper_prompt, tokenizer_name=selected_model, model_name=selected_model, device_map="auto", # change these settings below depending on your GPU model_kwargs={"torch_dtype": torch.float16},)
复制代码
!mkdir -p 'data/xianjiaoda/'!wget 'https://modelscope.oss-cn-beijing.aliyuncs.com/resource/rag/xianjiaoda.md' -O 'data/xianjiaoda/xianjiaoda.md'documents = SimpleDirectoryReader("/mnt/workspace/data/xianjiaoda/").load_data()documents
复制代码
加载 GTE 模型，使用 GTE 模型构造 Embedding 类
embedding_model = "iic/nlp_gte_sentence-embedding_chinese-base"class ModelScopeEmbeddings4LlamaIndex(BaseEmbedding, ABC): embed: Any = None model_id: str = "iic/nlp_gte_sentence-embedding_chinese-base"
def __init__( self, model_id: str, **kwargs: Any, ) -> None: super().__init__(**kwargs) try: from modelscope.models import Model from modelscope.pipelines import pipeline from modelscope.utils.constant import Tasks # 使用modelscope的embedding模型（包含下载） self.embed = pipeline(Tasks.sentence_embedding, model=self.model_id)
except ImportError as e: raise ValueError( "Could not import some python packages." "Please install it with `pip install modelscope`." ) from e
def _get_query_embedding(self, query: str) -> List[float]: text = query.replace("\n", " ") inputs = {"source_sentence": [text]} return self.embed(input=inputs)['text_embedding'][0].tolist()
def _get_text_embedding(self, text: str) -> List[float]: text = text.replace("\n", " ") inputs = {"source_sentence": [text]} return self.embed(input=inputs)['text_embedding'][0].tolist()
def _get_text_embeddings(self, texts: List[str]) -> List[List[float]]: texts = list(map(lambda x: x.replace("\n", " "), texts)) inputs = {"source_sentence": texts} return self.embed(input=inputs)['text_embedding'].tolist()
async def _aget_query_embedding(self, query: str) -> List[float]: return self._get_query_embedding(query)
复制代码
加载数据后，基于文档对象列表（或节点列表），建设他们的 index，就可以方便的检索他们。1
embeddings = ModelScopeEmbeddings4LlamaIndex(model_id=embedding_model)service_context = ServiceContext.from_defaults(embed_model=embeddings, llm=llm)set_global_service_context(service_context)
index = VectorStoreIndex.from_documents(documents)
复制代码
搭建基于本地知识库的问答引擎 1
query_engine = index.as_query_engine()response = query_engine.query("西安交大是由哪几个学校合并的?")print(response)
复制代码
4.2 完整代码
!pip install pypdf langchain unstructured transformers_stream_generator!pip install modelscope nltk pydantic tiktoken llama-index
复制代码
!wget https://modelscope.oss-cn-beijing.aliyuncs.com/resource/rag/averaged_perceptron_tagger.zip!wget https://modelscope.oss-cn-beijing.aliyuncs.com/resource/rag/punkt.zip!wget https://modelscope.oss-cn-beijing.aliyuncs.com/resource/rag/xianjiaoda.md
!mkdir -p /root/nltk_data/tokenizers!mkdir -p /root/nltk_data/taggers!cp /mnt/workspace/punkt.zip /root/nltk_data/tokenizers!cp /mnt/workspace/averaged_perceptron_tagger.zip /root/nltk_data/taggers!cd /root/nltk_data/tokenizers; unzip punkt.zip;!cd /root/nltk_data/taggers; unzip averaged_perceptron_tagger.zip;
!mkdir -p /mnt/workspace/custom_data!mv /mnt/workspace/xianjiaoda.md /mnt/workspace/custom_data
!cd /mnt/workspace
复制代码
import osfrom abc import ABCfrom typing import Any, List, Optional, Dict, cast
import torchfrom langchain_core.language_models.llms import LLMfrom langchain_core.output_parsers import StrOutputParserfrom langchain_core.prompts import ChatPromptTemplatefrom langchain_core.runnables import RunnablePassthroughfrom modelscope import AutoModelForCausalLM, AutoTokenizerfrom llama_index import GPTVectorStoreIndex, SimpleDirectoryReaderfrom llama_index import ServiceContextfrom llama_index.embeddings.base import BaseEmbeddingfrom llama_index import set_global_service_contextfrom langchain_core.retrievers import BaseRetrieverfrom langchain_core.callbacks import CallbackManagerForRetrieverRunfrom langchain_core.documents import Documentfrom llama_index.retrievers import VectorIndexRetriever
# configs for LLMllm_name = "Qwen/Qwen-1_8B-Chat"llm_revision = "master"
# configs for embedding modelembedding_model = "damo/nlp_gte_sentence-embedding_chinese-small"
# file path for your custom knowledge baseknowledge_doc_file_dir = "/mnt/workspace/custom_data/"knowledge_doc_file_path = knowledge_doc_file_dir + "xianjiaoda.md"
# define our Embedding class to use models in Modelscopeclass ModelScopeEmbeddings4LlamaIndex(BaseEmbedding, ABC): embed: Any = None model_id: str = "damo/nlp_gte_sentence-embedding_chinese-small"
def __init__( self, model_id: str, **kwargs: Any, ) -> None: super().__init__(**kwargs) try: from modelscope.models import Model from modelscope.pipelines import pipeline from modelscope.utils.constant import Tasks self.embed = pipeline(Tasks.sentence_embedding, model=self.model_id)
except ImportError as e: raise ValueError( "Could not import some python packages." "Please install it with `pip install modelscope`." ) from e
def _get_query_embedding(self, query: str) -> List[float]: text = query.replace("\n", " ") inputs = {"source_sentence": [text]} return self.embed(input=inputs)['text_embedding'][0]
def _get_text_embedding(self, text: str) -> List[float]: text = text.replace("\n", " ") inputs = {"source_sentence": [text]} return self.embed(input=inputs)['text_embedding'][0]
def _get_text_embeddings(self, texts: List[str]) -> List[List[float]]: texts = list(map(lambda x: x.replace("\n", " "), texts)) inputs = {"source_sentence": texts} return self.embed(input=inputs)['text_embedding']
async def _aget_query_embedding(self, query: str) -> List[float]: return self._get_query_embedding(query)
# define our Retriever with llama-index to co-operate with Langchain# note that the 'LlamaIndexRetriever' defined in langchain-community.retrievers.llama_index.py# is no longer compatible with llamaIndex code right now.class LlamaIndexRetriever(BaseRetriever): index: Any """LlamaIndex index to query."""
def _get_relevant_documents( self, query: str, *, run_manager: CallbackManagerForRetrieverRun ) -> List[Document]: """Get documents relevant for a query.""" try: from llama_index.indices.base import BaseIndex from llama_index.response.schema import Response except ImportError: raise ImportError( "You need to install `pip install llama-index` to use this retriever." ) index = cast(BaseIndex, self.index) print('@@@ query=', query)
response = index.as_query_engine().query(query) response = cast(Response, response) # parse source nodes docs = [] for source_node in response.source_nodes: print('@@@@ source=', source_node) metadata = source_node.metadata or {} docs.append( Document(page_content=source_node.get_text(), metadata=metadata) ) return docs
def torch_gc(): os.environ["TOKENIZERS_PARALLELISM"] = "false" DEVICE = "cuda" DEVICE_ID = "0" CUDA_DEVICE = f"{DEVICE}:{DEVICE_ID}" if DEVICE_ID else DEVICE a = torch.Tensor([1, 2]) a = a.cuda() print(a)
if torch.cuda.is_available(): with torch.cuda.device(CUDA_DEVICE): torch.cuda.empty_cache() torch.cuda.ipc_collect()
# global resources used by QianWenChatLLM (this is not a good practice)tokenizer = AutoTokenizer.from_pretrained(llm_name, revision=llm_revision, trust_remote_code=True)model = AutoModelForCausalLM.from_pretrained(llm_name, revision=llm_revision, device_map="auto", trust_remote_code=True, fp16=True).eval()
# define QianWen LLM based on langchain's LLM to use models in Modelscopeclass QianWenChatLLM(LLM): max_length = 10000 temperature: float = 0.01 top_p = 0.9
def __init__(self): super().__init__()
@property def _llm_type(self): return "ChatLLM"
def _call( self, prompt: str, stop: Optional[List[str]] = None, run_manager=None, **kwargs: Any, ) -> str: print(prompt) response, history = model.chat(tokenizer, prompt, history=None) torch_gc() return response
# STEP1: create LLM instanceqwllm = QianWenChatLLM()print('STEP1: qianwen LLM created')
# STEP2: load knowledge file and initialize vector db by llamaIndexprint('STEP2: reading docs ...')embeddings = ModelScopeEmbeddings4LlamaIndex(model_id=embedding_model)service_context = ServiceContext.from_defaults(embed_model=embeddings, llm=None)set_global_service_context(service_context) # global config, not good
llamaIndex_docs = SimpleDirectoryReader(knowledge_doc_file_dir).load_data()llamaIndex_index = GPTVectorStoreIndex.from_documents(llamaIndex_docs, chunk_size=512)retriever = LlamaIndexRetriever(index=llamaIndex_index)print(' 2.2 reading doc done, vec db created.')
# STEP3: create chat templateprompt_template = """请基于内的内容回答问题。"{context}我的问题是：{question}。"""prompt = ChatPromptTemplate.from_template(template=prompt_template)print('STEP3: chat prompt template created.')
# STEP4: create RAG chain to do QAchain = ( {"context": retriever, "question": RunnablePassthrough()} | prompt | qwllm | StrOutputParser())chain.invoke('西安交大的校训是什么？')# chain.invoke('魔搭社区有哪些模型?')# chain.invoke('modelscope是什么?')# chain.invoke('萧峰和乔峰是什么关系?')
复制代码
更多优质内容请关注公号：汀丶人工智能；会提供一些相关的资源和优质文章，免费获取阅读。
评论