写点什么

JoyAgent 综合测评报告

  • 2025-07-27
    北京
  • 本文字数:1383 字

    阅读完需:约 5 分钟

1.背景与目的


JoyAgent-JDGenie 是最近新开源的一款多 Agent 的产品,对于通用类问题可以做到开箱即用。而对于用户需要定制的场景功能,也支持配置子智能体或者类似 MCP 工具来辅助开发。此外 JoyAgent-JDGenie 相对比较轻量,无需依赖任何平台。


这次想对 JoyAgent-JDGenie 进行综合测试,使用通用类问题从官网和本地部署的 JoyAgent 来进行测试,看看整体效果如何。


测试地址:https://autobots.jd.com/genie开源代码:https://github.com/jd-opensource/joyagent-jdgenie


2.测评用例 1.从官网https://autobots.jd.com/genie 进行一个美食店推荐 2.本地部署服务,做一个北京到阿尔山的旅行规划,检验开箱即用的能力


总关注点:1.整体规划用时 2.交互的体验感 3.结果生成的效果 4.本地部署的复杂度


3 详细测评 3.1 美食店推荐问题:我想去北京什刹海玩,帮我推荐以什刹海为中心,三站地铁范围人均 100 元的烧烤店


问题解析:这个问题需要 agent 识别的关键要素:北京什刹海,地铁线路有什么,三站地铁的范围,人均 100 元,烧烤店


实际结果:a.一开始的思维链如下图,joyagent 可以快速且准确解析任务



b.交互的界面在右侧有个工作空间,浏览器是展示查询的浏览器内容,实时跟随是展示实时查询的结果,并动态生成 markdown。整体交互的界面干净整洁,功能区划分清晰,这个交互使用感很好




c.最后的结果大约用时 4 分钟,完成了我所有要求,包含查询和生成文档。 在工作空间的文件可以查看全部结果,对于结果的保存很人性化提供了三种方案,直接转化 Joyspace,下载 md 文件和复制功能,满足我日常所需,这个细节我很满意。



结果的生成确认让我眼前一亮,首先推荐的店铺结果符合我的要求,三站地铁,人均 100,烧烤,其次整个生成的文档不仅做了总览还很贴心的对每个区域的店铺做了详解,可以让我更好的做选择,体验感更加优秀。



3.2 旅行规划 joyagent 说是开箱即用,所以我本地部署一版本,实测本地效果如何。3.2.1 安装依赖和环境 a.通过运行 sh check_dep_port.sh 命令,可以看到关键依赖是否有缺少,按照引导安装即可



b.在 application.yml 和 env_template 两个文件 配置 llm 的信息,目前我默认用 openai 的 gpt-4.1 模型




c.启动服务,运行 sh Genie_start.sh,就可以成功启动服务了



服务从安装到启动整体来说还很便捷,也没有什么平台依赖。


3.2.2 执行旅行规划任务问题:我是两个人,每人预算 5000 元,想在 7.30 号从北京出发,去阿尔山及其周围玩 5 天,帮我做个旅行规划


问题解析:旅行规划 首先解析关键地址是北京和阿尔山,住宿地址在阿尔山,时间 5 天包含往返,当地景点查询,酒店查询,路线安排。 扩展功能 应有这几天天气,周边美食介绍,景点介绍。


思考过程展示:



过程日志:



实际结果:




整个规划用时 5 分多钟,从整个结果来看,基础内容都拆解正确,出发的路线没问题,每天的景点安排正确且合理。 对于扩展内容,提供了详细景点介绍,美食介绍,功能也完备。


  1. 结论与建议本框架作为全开源轻量级解决方案,在测试中表现卓越:交互体验高效流畅:规划类测试任务响应迅速,操作路径简洁,工具请求频次合理无冗余;结果保存智能便捷:支持灵活归档策略,满足多样化管理需求,大幅降低用户操作负担;部署轻量化开箱即用:本地部署依赖极简,无复杂配置,通用类问题即装即解决;生成内容完备可靠:基础与扩展信息覆盖全面,输出质量稳定。虽存在细微优化空间,但瑕不掩瑜,整体性能表现出色,交互层尤为亮眼,为二次开发测试奠定坚实基础。

发布于: 刚刚阅读数: 2
用户头像

拥抱技术,与开发者携手创造未来! 2018-11-20 加入

我们将持续为人工智能、大数据、云计算、物联网等相关领域的开发者,提供技术干货、行业技术内容、技术落地实践等文章内容。京东云开发者社区官方网站【https://developer.jdcloud.com/】,欢迎大家来玩

评论

发布
暂无评论
JoyAgent综合测评报告_京东科技开发者_InfoQ写作社区