从懵懂到落地:记录我们第一次成功将大模型“塞”进业务的曲折历程

Hello, 大家好,我是程序员海军, 全栈开发
|AI爱好者
| 独立开发
。
记录第一次在公司内部分享 AI+业务 落地实践。
如今,AI 时代带来的无限可能性,很多业务都值得从做一遍。
最近,老大参加了行业的 AI 大会,回来之后将这项任务交给了我。由于我经常研究各种 AI 玩法以及 AI 圈动态,对这块还是有点研究的。
于是,我调研了一天,用最快的时间验证我的思路是否可行跑通,我采用了我最熟悉最快的技术栈, Express + Langchain + Mysql 去将 业务 + AI 大模型 结合 开发落地 MVP, LangChain 对于我是陌生的。于是开始学习了 3 天,建立了对它大概的认知,并开始搭建项目,以及微调提示词等,并开发了 业务的 MCP Server 来扩展大模型的能力,以便它能了解公司业务并将业务数据 语义化后返回给客户,最终,从调研+学习大模型开发+实战用时一周,最终结果符合老大的预期效果。 于是就有了这个次的内部分享会,给团队 讲解 LLM 以及 如何将业务 + LLM 结合。
根据团队技术储备情况以及其它因素,我采用的方案是:非本地部署方案,这样节省了很多成本。
提示词工程 + RAG + 大模型语义化
实现效果
新建表


查询操作

写入操作,后台增删改操作


记录 AI & 用户之间信息
后期也可以训练 提高精准度


MCP 协议
它是由 Anthropic 在 2024 年 11 月提出,目标是让大模型和外部工具、数据的交互变得标准化、简单化。
MCP 让大模型的交互规则更统一,也方便了模型之间的调用和协作。
没有 MCP 协议之前:
规则各异:每个模型调用的接口各异,需要为不同的模型编写对应的调用规则。
_多模型协作困难_:不同模型之间几乎没办法“串联”工作。
有了 MCP 协议之后:
统一接口: 开发者不用为每个大模型写适配器,只需要遵循 MCP 协议写一次,就能适配所有支持 MCP 的模型。
跨模型调用: 每个模型之间可互通调用。
工具调用更加灵活

模型上下文协议(Model Context Protocol, MCP)是一种专为机器学习模型服务设计的通信协议,
<font style="color:rgb(214, 51, 132);">MCP</font>
通过定义统一的接口,使<font style="color:rgb(214, 51, 132);">AI</font>
应用能够安全、灵活地访问和操作本地及远程数据资源,提升模型的功能性和可扩展性。

MCP 本身并不处理复杂的逻辑;它只是协调 AI 模型与工具之间的数据和指令流动,MCP 简化了 AI 模型与你的数据、工具和服务的交互方式。
MCP 核心功能
上下文管理: MCP 协议旨在标准化和优化模型上下文的管理和传递,从而提高模型的性能和应用范围。
外部数据集成: 使 LLMs 能够安全地访问和操作本地及远程数据,为 LLMs 应用提供连接万物的接口。
工具调用: MCP 协议能够为 LLMs 提供执行具体操作的能力,例如调用 API、访问数据库等。

MCP 架构
** MCP 遵循客户端-服务器架构,包含以下核心组件:**
MCP 主机(MCP Hosts): 提供了连接大模型的能力,例如当前的 豆包,元宝,DeepSeek。
MCP 客户端(MCP Clients): 客户端可通过 调用 MCP Server 来扩展其功能
MCP 服务器(MCP Servers): 提供数据、工具和服务的外部系统来扩展大模型的功能,可以根据自己的业务搭建使用。
当下主流 MCP 以及 应用

自动建模
实现方式:使用开源项目 blender-mcp(GitHub 地址:https://github.com/ahujasid/blender-mcp),包含服务器端与 Blender 插件.

Supabase MCP - 数据与数据库集成
通过 MCP 将 Supabase 数据库连接到 Cursor,自动化创建管理数据库。

Figma MCP - Figma 设计稿转换为代码

MCP Server

@modelcontextprotocol/sdk
提供了核心的四个概念:Server
、Resources
、Tools
和 Prompts
。
**Server**
** 是 MCP 的核心入口,扮演一个中枢管理者的角色**,它将各类资源(资源模型、外部工具、提示词)注册进来,然后对外提供统一的处理能力。

可以使用 官方提供的 SDK 进行开发 MCP Server
开发,供 LLM 调用。



LangChain
LangChain 是构建 基于大语言模型(LLM)应用的一个核心的框架, 它可以高效的对接大模型,内部封装了很多模块,方便与大模型之间进行协作。
LangChain = Prompt [提示词] + Chain [链] + Tool [工具]+ Memory [记忆] + Retrieval [RAG]
执行流程

主要模块

向量数据库 + RAG
向量数据库是一种专门用于存储和检索高维向量(embedding)的数据库。
通俗的说,就是它可以更接近"语义相似"标准去检索文本最接近的信息块。
**RAG **主要是将外部知识检索与大模型生成结合的技术框架,解决大模型“幻觉”、数据时效性、隐私安全三大痛点


实战环节
我的方案是: 「Prompt Engineering → 模型输出 → 业务路由/执行 → 模型润色」



提示词微调面临问题

应对的策略
:::info
优化提示词设计
模块化提示词 静态部分(如数据库结构、规则)和动态部分(如用户输入、历史记录)
精简上下文 只在必要时传递数据库结构。
明确边界 在提示词中加入更详细的边界条件
输入预处理和校验
在调用大模型之前,添加一层输入预处理逻辑,使用正则表达式或 NLP 工具过滤用户输入中的潜在危险内容
对用户输入进行意图分类,明确是否需要 SQL 查询、调用 MCP server,还是直接返回语义化回答。
结果把控
在大模型生成 SQL 后,添加一层校验逻辑(如 SQL 解析器)检查生成的 SQL 是否符合数据库结构和规则,避免无效或危险的 SQL 被执行。
对返回的 JSON 结果进行格式校验,确保字段完整且符合预期。
最后
接下来的小半年时间,会落地上面这些结合业务,需要一些时间。这样在具体的业务场景提高效率,增加了成交率,也减少了企业的额外支出。
在当今这个 AI 迅猛发展的时代,传统互联网企业正面临着前所未有的挑战与机遇。AI 正在重塑各行各业的格局,推动着产业升级和变革。
业务不上 AI,许多传统互联网企业可能会逐渐被淘汰。AI 技术能够大幅提升效率、优化用户体验、降低运营成本,并为企业带来新的增长点。
只能拥抱变化,拥抱 AI, 在未来的商业竞争中立于不败之地。
版权声明: 本文为 InfoQ 作者【程序员海军】的原创文章。
原文链接:【http://xie.infoq.cn/article/a790958170852f0c144aa7673】。文章转载请联系作者。
评论