大语言模型比武
今年随着 ChatGPT 的流行,并在各个领域有一定程度生产级别的应用。国内外也掀起了一股大语言模型浪潮,各大厂商都推出了自己的大语言模型,阿里推出了 通义千问,腾讯推出了 Hunyuan,亚马逊云推出了 Titan,大语言模型的战场由此开启,争当大语言模型浪潮的弄潮儿。光说不练假把式,咱们今天开启一场大语言模型的比武,各家大语言模型拉出来溜溜。
既然是比武,总得有一些规则,同台竞技,那就是各个维度的比拼,各方要把自己多年压箱底的活都掏出来,才能分个高下。大语言模型比较,各家发布时,都有一些主要关注的指标。不仅是对于用户选用,还是内部评估产品质量,开发周期都是不可或缺的。下面几个主要指标我们需要重点考虑一下。
性能和准确性
性能和准确性是用户最关心的指标,没有之一。牛头不对马嘴的回答会让用户失去继续使用的信心,通常会采用一些基准测试,包括更复杂场景和任务中的表现来评估模型理解能力。
训练数据的量级和多样性
就目前来看,训练模型的数据量级和多样性,和模型的性能成正相关。一般包含更多样化的场景文本,语义语法内容结构,模型的准确性表现会更加优异。
通用性和泛化的能力
如果一个机器人只会炒菜,这当然没有问题,它会成为我们厨房的优秀小帮手。但是,如果它处理更加多元的工作,这会让用户印象深刻。正如大语言模型一样,如果它只能聚焦于客服领域,虽然它很好,但是不够好。
稳健性和健壮性
当大语言模型已经达到可接受的性能和准确性后,我们会很在意服务的稳定性。OpenAI 前几个月就发生过服务崩掉的情况,影响数百万的用户。
资源利用率和收费标准
我们知道很多科技产品已经实现从 0 到 1,但是苦苦挣扎与 1 到 100 的过程,核心问题就是成本问题,而成本又集中体现在资源的利用率上,然后决定了对外收费标准设置到用户能接受的程度上,来能实现真正的商业化。
可观测性和透明度
正如编程一样,我门需要知道大模型整个生成和输出的过程,这样才能不断改进模型,改进产品,形成良性循环。
公正性和伦理考量
这一点往往会被很多人忽视了,但是这是相当重要的一点。如果用户在进行一些危害社会,违反伦理道德的事情,我们应该需要通过某种方式去劝解用户的行为。例如青少年如果在大模型中查询自杀相关的话题,应该要进行及时的引导和善意的劝诫,技术是用来造福和改善人类生活的。
在我相继体验了阿里,腾讯还有亚马逊的产品后,有如下的分析,可以给大家一定程度的参考。
截止到目前,我们可以看到,整体上来说亚马逊的 Titan 是上述几个大语言模型中整体表现最优异的。亚马逊的数据量级与其他两家厂商有明显的优势;如果是需要国际化的产品,语言支持达上百种,对于国际市场有相当大的优势;多模态的支持,哪怕是面向个人用户,也有很不错的支持;文档和产品接入上也能减少开发者的心智负担。当然了,得益于亚马逊这些年积累下来强大的 AI 实力,CodeWhisperer,Rekognition 等产品一路以来的改进和优化,才能让目前 Titan 这款产品表现优异。
版权声明: 本文为 InfoQ 作者【天黑黑】的原创文章。
原文链接:【http://xie.infoq.cn/article/e8b508e69e42ae8f91163cae1】。文章转载请联系作者。
评论