写点什么

嘉为蓝鲸 LLMOps 平台 V1.2:60 + 模型支持,统一 OpenAI 协议 API,加速运维大模型应用融合

作者:嘉为蓝鲸
  • 2025-04-21
    广东
  • 本文字数:1713 字

    阅读完需:约 6 分钟

嘉为蓝鲸 LLMOps 平台 V1.2:60 + 模型支持,统一 OpenAI 协议 API,加速运维大模型应用融合

直达原文:【春季发布】嘉为蓝鲸运维大模型开发平台V1.2:支持60+大模型,运维全生命周期赋能,完成智能化跃迁


嘉为蓝鲸作为数字研运解决方案的引领者,在保持研运一体化运维平台稳定发展的同时,坚持创新,结合运维领域最新的大数据、机器学习和大语言模型技术,融入嘉为蓝鲸上千家政企客户的实践经验和发展诉求,推出的嘉为蓝鲸运维数据与智能平台,已经在多家头部银行和运营商客户落地,帮助客户解决海量规模下的运维质量、成本、效率和体验问题,取得了良好的效果。


嘉为蓝鲸运维大模型开发平台 V1.2(以下简称“LLMOps 平台”)发布,不仅进一步完善了嘉为蓝鲸运维数据与智能中心的功能版图,补充了运维大模型基础技术能力,而且通过统一的 AI Agent 开发框架,提升了嘉为蓝鲸应用融合大模型能力的速度,帮助嘉为蓝鲸一体化运维解决方案完成了“平台化”到“智能化”的跃迁。


LLMOps 平台致力于为运维全生命周期提供卓越的大模型赋能支持,为满足不同业务场景需求提供自定义 AI 开发扩展能力。LLMOps 平台包含了大模型管理层、网关服务层、资源管理层。其中,大模型管理层提供灵活的模型服务以满足不同场景需求,支持托管与私有化部署 2 种模型服务集成方式,默认内置 60 多种常见模型适配器,也以最快速度支持了 DeepSeek V3、DeepSeek R1、QwQ-32B 等最先进的大模型。

网关服务层 Gateway 屏蔽不同 LLM 模型之间的差异,为上层应用提供业界标准的 OpenAI 协议 API 接口,并提供权限、审计、监控、配额限流等管理能力。

LLM 资源管理提供了 AI 场景建设过程中用到的各种资源、工具的支持。包括知识库管理、工具管理、智能 Agent 管理、Prompt 管理、长短记忆管理等。


01.LLMOps 平台的核心功能包括


1)多模型接入

支持 60+ 模型接入框架,包括私有化部署和托管接入方式,同时通过 LLM Gateway 屏蔽不同 LLM 模型之间的差异,为上层应用提供业界标准的 OpenAI 协议的 API,并提供权限、审计、监控、配额限流等管理能力。


2)私域知识管理

支持根据知识类型创建多个不同层级的知识库,支持文件上传、手工录入、网页知识等多种形式录入知识,并使用 RAG 技术进行向量化处理,可在聊天过程中指定回复引用特定的知识库。


3)工具开发支持

工具(Tools)功能在当前版本,主要是支持场景问答对接蓝鲸产品或第三方系统的 API,从第三方接口获取数据知识后总结回复。核心流程是“新建工具”、“对话绑定工具”、“工具调用(FunctionCall)”、“大模型总结回复”等步骤。下一个版本计划支持 MCP 协议,集成除 API 外更多类型的工具。


4)智能体开发框架

LLM Agent Framework ,是一个 LLM 智能 Agent 应用开发框架,提供单 Agent 智能代理与基于 Graph 编排的多 Agent 智能协同能力,使用 Graph 组合 Agent, Chain, Retriever 等各类子组件,编排业务流程,解决复杂多变的业务问题,同时最大程度保留可复用性。

作为整个嘉为蓝鲸一体化运维体系的一部分,与一体化运维系统之间通过功能调用,以及数据和知识接入,形成有机互动,实现更为丰富的场景化应用。


基于 LLMOps 技术底座,嘉为蓝鲸已经发布了多个大模型运维场景应用,推动运维体系从被动响应向主动预防转变、自动化向智能化运维升级、知识驱动的运维决策闭环。


(1)LLMOps+DeepSeek 知识问答

DeepSeek 通过先进的模型架构,带来了高效率与低成本优势,在运维问题推理和知识总结场景通过选择高性能低成本的 DeepSeek-V3 或高效推理模型 DeepSeek-R1,兼具高准确率、低成本、高性能等优势。


(2)嘉为蓝鲸全栈智能观测中心

有了 AI 助手智能小鲸(基于 LLM Agent Framework 开发的智能体)加持的嘉为蓝鲸全栈智能观测观测中心,仿佛有了“千里眼”,业务系统的全景可观测数据尽收眼底,能自动精准解析告警事件,快速定位故障根因,并提供高效解决方案。




(3)智能化 IT 服务台

通过智能问答和智能提单,能大幅提升用户自助解决率,降低服务台一线人员压力。


ITSM工单处理完成后,可以利用 AI 辅助知识沉淀,助力知识管理,提高类似事件的处理效率。


(4)智能化技术赋能发布变更管理

在发布变更场景,借助大模型的意图识别、知识检索、工具调用能力,可以调用 FAQ 知识库与行业最佳实践,提供故障根因分析、修复路径推荐及风险预警。还能支持回滚、降级等复杂场景的一键式操作。


(5)更多智能运维场景参考


用户头像

嘉为蓝鲸

关注

研运至简,无限可为 2020-08-13 加入

蓝鲸智云一级技术合作伙伴,中国领先的研发运营一体化解决方案提供商

评论

发布
暂无评论
嘉为蓝鲸 LLMOps 平台 V1.2:60 + 模型支持,统一 OpenAI 协议 API,加速运维大模型应用融合_AIOPS_嘉为蓝鲸_InfoQ写作社区