写点什么

如何将文本转换为向量?(方法二)

作者:DashVector
  • 2024-08-14
    陕西
  • 本文字数:1732 字

    阅读完需:约 6 分钟

如何将文本转换为向量?(方法二)

本文介绍如何通过ModelScope魔搭社区中的文本向量开源模型文本转换为向量 ,并入库至向量检索服务 DashVector 中进行向量检索。


ModelScope魔搭社区旨在打造下一代开源的模型即服务共享平台,为泛 AI 开发者提供灵活、易用、低成本的一站式模型服务产品,让模型应用更简单。


ModelScope 魔搭社区的愿景是汇集行业领先的预训练模型,减少开发者的重复研发成本,提供更加绿色环保、开源开放的 AI 开发环境和模型服务,助力绿色"数字经济"事业的建设。 ModelScope 魔搭社区将以开源的方式提供多类优质模型,开发者可在平台上免费体验与下载使用。


在 ModelScope 魔搭社区,您可以:


  • 免费使用平台提供的预训练模型,支持免费下载运行

  • 一行命令实现模型预测,简单快速验证模型效果

  • 用自己的数据对模型进行调优,定制自己的个性化模型

  • 学习系统性的知识,结合实训,有效提升模型研发能力

  • 分享和贡献你的想法、评论与模型,让更多人认识你,在社区中成长

前提条件

  • DashVector:

  • 已创建 Cluster:[创建 Cluster]

  • 已获得 API-KEY:[API-KEY 管理]

  • 已安装最新版 SDK:[安装 DashVector SDK]

  • ModelScope:

  • 已安装最新版 SDK:pip install -U modelscope

CoROM 文本向量

简介


说明


关于 CoROM 文本向量模型更多信息请参考:CoROM文本向量

使用示例

说明


需要进行如下替换代码才能正常运行:


  1. DashVector api-key 替换示例中的{your-dashvector-api-key}

  2. DashVector Cluster Endpoint 替换示例中的{your-dashvector-cluster-endpoint}

  3. 使用上表中 模型 ID 替换示例中的{model_id}

  4. 需注意,若所使用的模型若为 tiny 模型,则向量维度为 256


Python


from modelscope.pipelines import pipelinefrom modelscope.utils.constant import Tasksfrom typing import Listfrom dashvector import Client

pipeline_se = pipeline(Tasks.sentence_embedding, model='{model_id}')

def generate_embeddings(texts: List[str]): inputs = {'source_sentence': texts} result = pipeline_se(input=inputs) return result['text_embedding']

########### 以下为通用示例:向量入库DashVector和向量检索代码参考############ 创建DashVector Clientclient = Client( api_key='{your-dashvector-api-key}', endpoint='{your-dashvector-cluster-endpoint}')
# 创建DashVector Collection# 注意:需根据模型对应向量维度调整dimension参数rsp = client.create('CoROM-text-embedding', dimension=768)assert rspcollection = client.get('CoROM-text-embedding')assert collection
# 向量入库DashVectorcollection.insert( ('ID1', generate_embeddings(['阿里云向量检索服务DashVector是性能、性价比具佳的向量数据库之一'])[0]))
# 向量检索docs = collection.query( generate_embeddings(['The best vector database'])[0])print(docs)
复制代码

GTE 文本向量

简介


说明


关于 GTE 文本向量模型更多信息请参考:GTE文本向量

使用示例

本模型使用示例同[CoROM 文本向量-使用示例],进行相应 模型 ID向量维度 替换即可运行。


Udever 多语言通用文本表示模型

简介


说明


关于 Udever 多语言通用文本表示模型更多信息请参考:Udever 多语言通用文本表示模型

使用示例

本模型使用示例同[CoROM 文本向量-使用示例],进行相应 模型 ID向量维度 替换即可运行。


StructBERT FAQ 问答

简介


说明


关于 StructBERT FAQ 问答模型更多信息请参考:StructBERT FAQ问答

使用示例

说明


需要进行如下替换代码才能正常运行:


  1. 使用上表中 模型 ID 替换示例中的{model_id}


Python


from modelscope.pipelines import pipelinefrom modelscope.utils.constant import Tasksfrom typing import List
pipeline = pipeline(Tasks.faq_question_answering, model='{model_id}')

def generate_embeddings(texts: List[str], max_len=30): return pipeline.get_sentence_embedding(texts)
复制代码


说明


本示例中,向量入库 DashVector 和向量检索代码,参考[CoROM 文本向量-使用示例]中的通用示例部分


更多文本向量模型


说明


  1. 列表中模型示例同[CoROM 文本向量-使用示例],进行相应 模型 ID向量维度 替换即可运行

  2. 更多 ModelScope 社区中的开源文本向量模型在本文中不再一一列举,更多文本向量模型待您探索、发现和共建,点击进入

发布于: 刚刚阅读数: 5
用户头像

DashVector

关注

还未添加个人签名 2024-05-14 加入

还未添加个人简介

评论

发布
暂无评论
如何将文本转换为向量?(方法二)_人工智能_DashVector_InfoQ写作社区