写点什么

AI-Compass DeepSearch 深度搜索生态:集成阿里 ZeroSearch、字节 DeerFlow、MindSearch 等前沿平台,实现超越传统关键词匹配的智能信息检索革命

  • 2025-07-20
    浙江
  • 本文字数:6310 字

    阅读完需:约 21 分钟

AI-Compass DeepSearch 深度搜索生态:集成阿里 ZeroSearch、字节 DeerFlow、MindSearch 等前沿平台,实现超越传统关键词匹配的智能信息检索革命

AI-Compass 致力于构建最全面、最实用、最前沿的 AI 技术学习和实践生态,通过六大核心模块的系统化组织,为不同层次的学习者和开发者提供从完整学习路径。



<div align="center"><p>🌟 如果本项目对您有所帮助,请为我们点亮一颗星!🌟</p></div>

📋 核心模块架构:

  • 🧠 基础知识模块:涵盖 AI 导航工具、Prompt 工程、LLM 测评、语言模型、多模态模型等核心理论基础

  • ⚙️ 技术框架模块:包含 Embedding 模型、训练框架、推理部署、评估框架、RLHF 等技术栈

  • 🚀 应用实践模块:聚焦 RAG+workflow、Agent、GraphRAG、MCP+A2A 等前沿应用架构

  • 🛠️ 产品与工具模块:整合 AI 应用、AI 产品、竞赛资源等实战内容

  • 🏢 企业开源模块:汇集华为、腾讯、阿里、百度飞桨、Datawhale 等企业级开源资源

  • 🌐 社区与平台模块:提供学习平台、技术文章、社区论坛等生态资源

📚 适用人群:

  • AI 初学者:提供系统化的学习路径和基础知识体系,快速建立 AI 技术认知框架

  • 技术开发者:深度技术资源和工程实践指南,提升 AI 项目开发和部署能力

  • 产品经理:AI 产品设计方法论和市场案例分析,掌握 AI 产品化策略

  • 研究人员:前沿技术趋势和学术资源,拓展 AI 应用研究边界

  • 企业团队:完整的 AI 技术选型和落地方案,加速企业 AI 转型进程

  • 求职者:全面的面试准备资源和项目实战经验,提升 AI 领域竞争力


DeepSearch 模块构建了涵盖前沿平台的深度搜索技术生态,致力于超越传统关键词匹配的智能信息检索革命。该模块整合了阿里 ZeroSearch 无搜索 LLM 能力增强、字节 DeerFlow 智能搜索引擎、书生浦源 MindSearch 多智能体搜索框架等核心技术,以及腾讯 IMA.copilot 智能工作台等企业级解决方案。技术栈包含了 JinaAI node-DeepResearch 持续推理搜索、SurfSense 开源知识管理助手、Firesearch 多模态爬虫、Morphik-Core 多模态 RAG 等专业组件,覆盖了从基础检索到复杂推理的全链路需求。


模块深度集成了 LLM 原生搜索能力(ZeroSearch 激励机制)、多智能体协作搜索(MindSearch 类 Perplexity Pro)、持续推理直到找到答案(node-DeepResearch)、多模态知识检索(Morphik 多模态 RAG)等创新技术,支持网页阅读、推理分析、知识图谱构建、实时搜索等高级功能。此外,还提供了与外部数据源集成(Tavily、Linkup 搜索引擎、Slack、Linear、Notion、YouTube、GitHub 等)、自定义 AI 研究助手、私有知识库构建等实用功能,以及 SearchGPT 风格的对话式搜索、类 NotebookLM 的知识管理等前沿应用模式,帮助开发者构建智能化、个性化的下一代深度搜索系统,实现从信息检索到知识发现的技术跃升。

目录

  1. 1.ZeroSearch-阿里

  2. 1.deerflow-字节

  3. 2.jinaAI-node-DeepResearch

  4. 3.MindSearch 书生浦源

  5. 3.SurfSence 开源检索

  6. 3.firesearch

  7. 3.morphik-core 多模态搜索


================================================================================

简介

ima.copilot(简称 ima)是腾讯推出的一款以知识库为核心的 AI 智能工作台产品。它集搜、读、写于一体,旨在显著提升用户在知识获取、信息处理和内容输出方面的效率,适用于学习和办公场景。

核心功能

  • 智能问答与内容生成: 具备 AI 模型的通用功能,如问答、内容创作和图像生成。

  • 搜读写一体化: 提供高效的搜索、阅读和写作工具,实现一体化工作流。

  • 知识库管理: 以知识库为核心,方便用户管理和利用信息。

  • 微信生态连接: 独特地与微信公众号生态系统连接,允许用户访问微信文章中的大量信息网络。

技术原理

ima.copilot 的核心技术基于大型语言模型,已接入并融合了腾讯混元大模型DeepSeek R1 模型(满血版),这些模型为其提供了强大的自然语言处理、内容理解与生成能力。

应用场景

  • 高效学习: 辅助用户进行知识获取和信息整理,提升学习效率。

  • 办公协作: 作为智能办公工具,提高信息处理和文档输出效率。

  • 内容创作: 辅助进行文章、报告等内容的撰写和生成。

  • 信息检索与分析: 尤其是在需要整合微信公众号内容信息时,提供便捷的检索和分析能力。




1.ZeroSearch-阿里

简介

ZeroSearch 是阿里巴巴提出的一种新颖的强化学习框架,可在训练期间通过模拟搜索来激励大语言模型(LLMs)使用真实搜索引擎的能力。它将 LLM 转换为检索模块,引入课程滚动机制激发模型推理能力。实验表明,ZeroSearch 优于基于真实搜索引擎的模型,且零 API 成本,能适配不同大小和类型的 LLMs 及多种强化学习算法。


核心功能

  • 把 LLM 转化为能生成相关和噪声文档的检索模块。

  • 引入课程滚动机制,逐步激发模型推理能力。

  • 支持 REINFORCE、GPRO 和 PPO 三种强化学习算法。

技术原理

通过监督微调,将 LLM 转变为检索模块,以应对查询生成文档。采用课程滚动机制,让模型面对更具挑战性的检索场景,逐步提升推理能力。同时,使用模拟搜索替代真实搜索进行训练。

应用场景

在需要利用大语言模型进行信息检索和推理的场景中使用,如问答系统、知识图谱构建等,可在不产生 API 成本的情况下获得较好的性能。




1.deerflow-字节

简介

DeerFlow 是社区驱动的深度研究框架,结合语言模型与专业工具。已入驻火山引擎 FaaS 应用中心,支持一键部署。它能无缝集成 MCP 服务,进行深度研究、生成综合报告与播客音频等,具备多搜索引擎支持、人在环机制等特性。


核心功能

  1. LLM 集成:支持多数模型,多层系统适配不同任务。

  2. 搜索与检索:通过多种搜索引擎网络搜索,Jina 爬取,高级内容提取。

  3. MCP 集成:扩展访问能力,促进工具方法集成。

  4. 人机协作:人在环中修改计划,支持报告后期编辑。

  5. 内容创作:生成播客脚本、音频和 PPT 演示文稿。

  6. 文本转语音:将研究报告转为语音,可自定义特性。

技术原理

DeerFlow 实现模块化多智能体系统架构,基于 LangGraph 构建,采用精简工作流程。组件通过消息传递系统通信,包含协调器、规划器、研究团队(研究员、编码员、报告员)等,实现灵活的基于状态的工作流。

应用场景

  1. 学术研究:分析学术问题、撰写论文报告。

  2. 市场调研:研究市场趋势、竞品分析。

  3. 内容创作:撰写文章、生成播客和演示文稿。

  4. 技术分析:分析代码、研究技术指标。




2.jinaAI-node-DeepResearch

简介

DeepResearch 项目是由 Jina AI 推出的一个高级 AI 研究代理系统,旨在模拟 OpenAI 的 Deep Research 系统,提供迭代式的网络研究能力。该项目最初以 Node.js/TypeScript 实现(node-DeepResearch),随后有社区开发者将其移植到 Python 语言(python-node-deepresearch),使得该研究助手能够通过搜索、网络抓取和大型语言模型对任何主题进行深入且迭代的研究。

核心功能

  • 迭代式深度研究: 能够持续地搜索、阅读网页并进行推理,直到找到答案或达到预设限制。

  • 多模态信息整合: 结合搜索引擎(如 Brave/DuckDuckGo)、网页解析器(如 Jina Reader)和大型语言模型(如 Gemini Flash)进行信息处理和分析。

  • 自动化问答与合成: 自动处理复杂查询,通过循环过程迭代地搜索、阅读和综合答案。

  • 模块化架构: 设计上采用模块化,易于扩展和维护。

  • 多语言支持: 提供 Node.js/TypeScript 和 Python 两种实现版本。

技术原理

DeepResearch 的核心技术原理在于其代理(Agentic)工作流,该工作流模仿了人类研究员的思考和行动模式。它主要依赖以下组件和机制:


  • 大型语言模型(LLM): 如 Google 的 Gemini Flash,作为核心推理引擎,用于理解查询、生成搜索策略、提炼信息和综合答案。

  • 网页爬取与解析: 采用如 Jina Reader 等工具对网页内容进行高效、准确的抓取和解析,提取有效信息。

  • 搜索引擎接口: 通过集成 Brave 或 DuckDuckGo 等搜索引擎,实现对互联网信息的广泛检索。

  • 迭代循环与反馈机制: 系统在一个 while-loop 中运行,不断地执行“搜索-阅读-推理-合成”的循环,并根据当前信息调整后续步骤,直到满足查询要求或达到预设条件。

  • 状态管理与记忆: 代理在研究过程中会维护一个内部状态,记录已获取的信息和推理进展,避免重复劳动并确保逻辑连贯性。

应用场景

  • 学术研究: 帮助学者快速收集、整理和分析特定领域的文献和信息。

  • 市场调研: 自动进行行业分析、竞品研究和市场趋势洞察。

  • 内容创作: 为新闻撰稿人、内容创作者提供背景资料和事实核查支持。

  • 商业智能: 辅助企业进行决策支持,快速获取关键业务信息。

  • 个人学习: 作为智能学习助手,帮助用户深入理解复杂概念和主题。




3.MindSearch 书生浦源

简介

MindSearch 是一个开源的 AI 搜索引擎框架,性能与 Perplexity.ai Pro 相当。用户可轻松部署以构建自己的搜索引擎,支持闭源 LLM(如 GPT、Claude)和开源 LLM(InternLM2.5 系列模型经专门优化)。具备解决各类问题、深度知识探索、提供透明解决方案路径、多种用户界面及动态图构建过程等特性。


核心功能

  • 问题解答:通过搜索解决生活中的各种问题。

  • 深度探索:浏览数百网页,提供广泛、深层次答案。

  • 透明路径:提供思考路径、搜索关键词等完整内容,提高回复可信度和可用性。

  • 多界面支持:提供 React、Gradio、Streamlit 等多种用户界面。

  • 动态图构建:将用户查询分解为子问题节点,根据搜索结果扩展图。

技术原理

文档未详细提及技术原理相关内容,推测其通过将用户查询分解为子问题节点构建动态图,结合搜索引擎获取网页信息,利用优化后的 LLM(如 InternLM2.5 系列)进行处理和回复生成。

应用场景



3.SurfSence 开源检索

简介

SurfSense 是一款开源、高度可定制的 AI 研究与知识管理助手。它旨在提供类似 NotebookLM、Perplexity 和 Glean 的替代方案,能够整合外部信息源(如搜索引擎、社交媒体和协作工具)与用户的个人知识库,并支持隐私保护和数据自主。

核心功能

  • 多源信息整合: 连接到 Tavily、LinkUp 等搜索引擎,以及 Slack、Linear、Notion、YouTube、GitHub、Discord 等多样化平台,实现信息的自动抓取和整合。

  • 个人知识库构建与管理: 允许用户保存网页(包括登录墙后的内容)、上传文档和文件,并构建可进行自然语言查询的私有、可搜索知识库。

  • AI 辅助研究与分析: 提供 AI 驱动的搜索、信息管理和与文档交互(聊天)的能力,帮助用户高效地从海量数据中提取洞察、生成播客或进行深度分析。

  • 数据隐私与自主: 支持云端和本地 AI 模型部署选项,确保用户数据的安全与隐私,赋予用户对自身数据完全的控制权和所有权。

技术原理

SurfSense 的核心基于 AI 研究代理(AI research agent)范式,特别提到了使用自定义的 gpt-researcher 代理。它通过集成多种外部服务的 API(如搜索引擎 API、协作工具 API),实现对不同数据源的连接和信息流转。在处理用户知识库时,系统运用自然语言处理技术,使用户能通过日常语言进行查询和交互。为提供高度的隐私保护,其架构设计支持本地 AI 模型部署,允许敏感数据在用户本地环境中处理,与传统的云端处理模式并行。

应用场景

  • 学术与市场研究: 研究人员和分析师可利用其高效收集、整合多学科信息,进行文献回顾和市场趋势分析。

  • 个人知识管理: 个人用户可将其作为私有的“第二大脑”,管理所有数字笔记、文档和网络信息,并随时进行回顾和查询。

  • 内容创作: 内容创作者(如播客制作者、撰稿人)可快速从整合的知识库中获取灵感和资料,甚至直接生成内容片段。

  • 团队协作与知识共享: 企业或团队可部署 SurfSense,通过集成内部工具,促进团队知识的集中管理和高效检索,提升协作效率。

  • 隐私敏感型工作: 对数据隐私和合规性有严格要求的行业或个人,可利用其本地部署能力,确保敏感信息不出本地环境。




3.firesearch

简介

Firesearch 是一款由 Firecrawl 和 LangGraph 驱动的人工智能深度研究工具,利用 Firecrawl 进行多源网页内容提取,借助 OpenAI GPT - 4o 进行搜索规划和后续生成。它可以将复杂查询分解为多个聚焦搜索,提供验证答案、自动重试等功能,还支持用户通过修改配置文件自定义搜索行为。

核心功能

  • 智能搜索:将复杂查询分解为多个聚焦搜索。

  • 答案验证:验证来源是否包含实际答案,要求置信度达 0.7 以上。

  • 自动重试:对未解答的问题使用替代搜索词重试。

  • 实时进度:搜索完成时实时更新。

  • 完整引用:每个事实都链接到其来源。

  • 上下文记忆:后续问题保持对话上下文。

技术原理

Firesearch 以 Firecrawl 进行多源网页内容提取,利用 OpenAI GPT - 4o 进行搜索规划和总结。处理流程为:将复杂查询分解为子问题,通过 Firecrawl API 进行多次搜索,从网页源提取 Markdown 内容,验证来源是否能解答问题,对未解答问题使用替代搜索词重试,最后由 GPT - 4o 将结果综合成带引用的答案。同时可通过修改配置文件自定义搜索行为,如设置最大搜索查询数、每个搜索查询的最大来源数等。

应用场景

  • 学术研究:可用于查找学术资料,获取相关研究成果。

  • 产品对比:对比不同产品的特点、价格等信息,如对比手机旗舰机型的功能。

  • 信息调研:了解公司的创始人、产品发布时间等信息。

  • mendableai/firesearch

  • Firecrawl



3.morphik-core 多模态搜索

简介

Morphik 是一套面向视觉丰富文档和多模态数据的 AI 原生工具集,旨在让开发者轻松将复杂数据上下文集成到 AI 应用中。它具备多模态搜索、知识图谱构建、快速元数据提取等功能,提供免费层级且开源,有 Python SDK 和 REST API,也可通过控制台操作。

核心功能

  • 多模态搜索:利用 ColPali 等技术理解文档视觉内容,通过单一端点搜索图像、PDF、视频等。

  • 知识图谱构建:一行代码构建特定领域知识图谱,可使用预设或自定义系统提示。

  • 元数据提取:从文档中快速提取包括边界框、标签、分类等元数据。

  • 集成功能:与 Google Suite、Slack、Confluence 等现有工具和工作流集成。

  • 缓存增强生成:创建文档持久 KV 缓存以加速生成。

技术原理

Morphik 运用 ColPali 技术构建多模态搜索,直接将输入页面嵌入存储,避免因解析或处理技术不完善导致的上下文丢失。在元数据提取方面,借助相关算法实现对文档的边界框、标签、分类等信息的提取。

应用场景





<div align="center"><p>🌟 如果本项目对您有所帮助,请为我们点亮一颗星!🌟</p></div>

发布于: 刚刚阅读数: 3
用户头像

本博客将不定期更新关于NLP等领域相关知识 2022-01-06 加入

本博客将不定期更新关于机器学习、强化学习、数据挖掘以及NLP等领域相关知识,以及分享自己学习到的知识技能,感谢大家关注!

评论

发布
暂无评论
AI-Compass DeepSearch深度搜索生态:集成阿里ZeroSearch、字节DeerFlow、MindSearch等前沿平台,实现超越传统关键词匹配的智能信息检索革命_汀丶人工智能_InfoQ写作社区