自建 DeepSeek 时代已来，联网搜索如何高效实现
作者：张添翼（澄潭）
开源 LLM 的新纪元：DeepSeek 带来的技术平权
随着 DeepSeek 等高质量开源大模型的涌现，企业自建智能问答系统的成本已降低 90% 以上。基于 7B/13B 参数量的模型在常规 GPU 服务器上即可获得商业级响应效果，配合 Higress 开源 AI 网关的增强能力，开发者可快速构建具备实时联网搜索能力的智能问答系统。
Higress：零代码增强 LLM 的瑞士军刀
Higress 作为云原生 API 网关，通过 wasm 插件提供开箱即用的 AI 增强能力：
主要能力矩阵：
联网搜索： 实时接入互联网最新信息
智能路由： 多模型负载均衡与自动兜底
安全防护： 敏感词过滤与注入攻击防御
效能优化： 请求缓存+token 配额管理
可观测性： 全链路监控与审计日志
联网搜索的技术实现与场景价值
Higress AI 搜索增强插件代码已经开源，可以点击此处查看插件文档和代码。
核心架构解析
关键技术特性
1. 多引擎智能分流
公共搜索（Google/Bing/Quark）获取实时资讯
学术搜索（Arxiv）对接科研场景
私有搜索（Elasticsearch）连接企业/个人知识库
2. 搜索增强核心思路
LLM 重写 Query：基于 LLM 识别用户意图，生成搜索命令，可以大幅提升搜索增强效果
关键词提炼：针对不同的引擎，需要生成不同的提示词，例如 Arxiv 里英文论文居多，关键词需要用英文
领域识别：仍以 Arxiv 举例，Arxiv 划分了计算机科学/物理学/数学/生物学等等不同学科下的细分领域，指定领域进行搜索，可以提升搜索准确度
长查询拆分：长查询可以拆分为多个短查询，提高搜索效率
高质量数据：Google/Bing/Arxiv 搜索都只能输出文章摘要，而基于阿里云信息检索对接 Quark 搜索，可以获取全文，可以提高 LLM 生成内容的质量
典型应用场景效果展示
金融资讯问答
前沿技术探索
医疗问题解答
从开源到落地：三步构建智能问答系统
1. 基础部署
2. 插件配置
可以通过 http://127.0.0.1:8001 访问 higress 控制台，给 ai-search 插件做如下配置。
3. 对接 SDK 或前端
使用这个 OpenAI 协议 BaseUrl：http://127.0.0.1:8080/v1，就可以使用 ChatBox/LobeChat 等支持 OpenAI 协议的对话工具进行对话。
也可以直接使用 OpenAI 的 SDK 对接，如下所示：
通过 Higress+DeepSeek 的开源组合，企业可在 24 小时内完成从零到生产级的智能问答系统部署，使 LLM 真正成为业务增长的智能引擎。
版权声明: 本文为 InfoQ 作者【阿里巴巴云原生】的原创文章。
原文链接:【http://xie.infoq.cn/article/71baba0d433359d09c8814fd9】。文章转载请联系作者。
阿里云云原生 2019-05-21 加入
还未添加个人简介
评论