FlagEval 7 月榜丨新增 29 个模型评测结果,智源发布评估技术报告《AI 大模型能力全景扫描》
![FlagEval 7月榜丨新增29个模型评测结果,智源发布评估技术报告《AI大模型能力全景扫描》](https://static001.geekbang.org/infoq/19/19900ff48fe8e7380855af0737a3df3a.jpeg)
![](https://static001.geekbang.org/infoq/30/30233f5f6cb55493997baf0bca16d78d.png)
本次评测发现,大语言模型,国产模型主观能力整体有所提升;视觉语言新模型的能力有所提升,从本次指标上观察来看,使用强大的语言模型,如 llama3 可以无痛提升多模态模型的相关指标,但是否真正提升跨模态能力,还有待进一步的研究;文生图模型,国内外模型差距极大缩小,效果逼近国际一流水平。
闭源大语言模型,取中文+英文主观评测的综合成绩,共更新 14 个闭源模型,以下为 Top 10 上榜模型得分情况:
![](https://static001.geekbang.org/infoq/49/49a7ea900064e0412572e3f2a9d2b3b5.png)
开源大语言模型,在中文+英文双语评测的主观评测榜单中,在原有 29 个模型评测结果基础之上,更新 5 个模型,共 33 个模型,以下为 Top 10 上榜模型得分情况:
![](https://static001.geekbang.org/infoq/c4/c4e55c919236ba5e04e264661c4908b9.png)
视觉语言模型,在原有 17 个模型评测结果基础之上,更新了 5 个模型,共 22 个模型,视觉语言模型的排名按照 Avg Rank 进行排序,本轮排名分数取多个数据集排名的均值作为最终得分,因此平均排名分数越小的模型名次靠前,以下为 Top 10 上榜模型得分情况:
![](https://static001.geekbang.org/infoq/50/5090540f49076bdc70b5025b51c09c28.png)
文生图模型,在原有 18 个模型评测结果基础之上,新增了 4 个模型,共 22 个模型,本次排名以主观评测分数为主要排名依据,以下为 Top 10 上榜模型得分情况:
![](https://static001.geekbang.org/infoq/60/603f28f0420bceb268339749ff478f65.png)
更多评测结果请参阅 FlagEval 官网:flageval.baai.ac.cn
智源研究院将长期以来在大模型评测的方法、流程和技术等维度的探索与实践,形成了第一期智源评估技术报告《AI 大模型能力全景扫描》,持续推进大模型行业的蓬勃发展,报告建议支持开源开放建设,加强评测标准建设,强化协同研究,鼓励创新,推进行业应用,重视安全风险,优化监管,搭建产业生态。欢迎业界同仁提出宝贵意见,上下游企业积极共建。
评论