大语言模型 LLM 管理功能特点解析示例
大语言模型领域正处于快速发展阶段，涉及技术革新、跨领域应用以及行业影响等多个方面。随着技术的进步，我们预计会看到更多创新性的 AI 应用和服务涌现出来。为此，Botnow 正在加速迭代 AI 应用开发平台，赋能千行百业的 AI 应用落地，并已支持模型管理功能，包含模型仓库和模型服务两部分：
模型仓库
模型仓库支持模型文件托管，用户可以通过上传本地模型文件，也可以从魔搭（ModelScope）或 HuggingFace 上拉群模型文件并保存在模型仓库，模型仓库帮助用户免去了频繁下载远程模型文件，节省了运维和资源成本，提升了用户使用大语言模型的效率，同时方便用户将大语言模型部署并发布模型推理服务，供业务中使用。
下面让我们详细了解一下模型仓库的特点：
新增模型
左侧菜单选择“模型管理” -> “模型仓库”，点击“创建模型”，即可进行新增模型操作。平台支持模型来源包括：魔搭社区、Hugging Face、本地模型
新建完成后，点击”确定“，即可保存模型信息。
魔搭社区：需要录入模型文件的地址以及对应的分支。当创建完成时，平台会自动根据填写的模型地址、分支自动获取模型文件。
Hugging Face：需要录入模型文件的地址、对应的分支，以及 Token（非必填）。当创建完成时，平台会自动根据填写的模型地址、分支自动获取模型文件。
本地模型：需要上传本地文件。当创建完成时，需要您手动上传本地模型文件。
模型详情
用户可在模型详情页面查看模型介绍以及模型文件：
其他功能
模型部署。在模型列表以及详情页面中，支持本地模型快捷部署操作，点击“部署”按钮，即可跳转至 “模型服务 / 新增模型服务” 页面。
编辑模型。支持编辑模型基本信息与接入信息。
模型文件管理。如果是模型来源是本地模型，在详情页面中，支持对模型文件进行管理操作，包含：上传文件、删除文件。
删除模型仓库
模型服务
模型服务具备本地模型推理和接入外部模型的能力。本地模型推理服务旨在为用户提供开箱即用的模型推理加速引擎，它大幅降低大型模型的部署成本，本地模型推理服务具备简单易用、易于扩展、性能优化等特点，并支持 Llama 系列模型、Qwen、Embedding、Reranking 模型等。外部模型服务支持无缝接入第三方模型服务 API，支持 Qwen、Moonshot、OpenAI、Gemini、Zhipu、DeepSeek 等第三方模型服务。
新增模型服务
进入模型服务页面，点击 “新增模型服务” 按钮，进入新增模型服务页面。新增模型服务时 ，需要填写服务基本信息，以及选择模型来源，来源包括：本地模型、外部模型。
本地模型推理服务部署
部署本地模型服务时，需要配置的内容如下：
选择要部署的模型文件
配置服务规格：配置服务规格时，支持选择指定的节点。
高级配置：模型推理服务支持 vLLM 推理加速和分布式多 GPU 调度能力
接入外部模型服务
部署本地模型服务时，需要配置的内容如下：
输入模型服务名称，例如 “OpenAI”。
输入模型服务别名，例如 “OpenAI GPT-4o 模型服务”。
模型来源选择 “外部模型”
填写描述，例如 “OpenAI GPT-4o 模型服务”。
选择模型服务供应商
填写对应的 Token
完成填写后，点击【确定】按钮，即可完成创建操作。
模型服务详情
点击模型服务卡片，可进入模型服务详情页面，查看模型服务详情。
外部模型服务
本地模型服务
其他功能
上线 / 下线（仅本地模型服务支持）。本地模型服务部署成功后，支持上线 / 下线操作。下线之后，将停止提供服务
编辑模型服务。本地模型服务支持编辑模型以及服务规格；外部模型服务支持编辑基本信息以及外部服务配置。
删除模型服务
应用场景
中大型企业大多要求对大语言模型自主可控，主要体现在两方面的使用场景：
接入第三方大模型服务的 API，这类场景一般是数据不敏感的业务，且对模型回答的质量有较高的要求，是一般开源大模型或微调大模型无法达到的效果。
本地部署开源模型或经微调后的模型，这类场景企业基本可以实现端到端的管理大模型，从模型文件的管理 -> 模型部署推理 -> 接入智能体 Bot -> AI 加持的业务上线运营 -> 产生效益。这是企业落地大模型较理想的形态，兼具了成本和自主可控的特点。
Botnow 模型管理能力的推出，加上 Botnow 已具备的强大的智能体编排能力，能较好得满足上述企业用户的需求和使用场景。
新一代 AI 智能体开发平台 2024-08-27 加入
Botnow 是新一代 AI 智能体创作与分发平台，开发者可以通过插件、知识库、工作流等方式快速、低门槛打造高质量的智能体，并支持发布到第三方平台。Botnow 聚焦办公提效、企业服务、智能营销、智能客服等场景。
评论