GPT-4o 多模态、实时交互、全员免费可用,丝滑语音交互的 ChatGPT 这把赢麻了
从 5 月初爆出将在 9 日发布搜索引擎;到 5 月 11 日,官宣将在当地时间 5 月 13 日 10 时发布 ChatGPT 与 GPT-4 更新;再到 Sam Altman 亲自下场辟谣「不是 GPT-5,也不是搜索引擎」,而是「像魔法一样的新东西」;随后,网友开始通过各种蛛丝马迹深挖其发布内容,最终 GPT-4.5 和 ChatGPT 的通话功能成为热门候选。
最初,有网友调侃 Sam Altman 此举是准备和 Google I/O 大会抢风头,但对比 Gemini 1.5 和 Sora 的对决,如果没点「硬货」,Altman 恐怕也不愿铤而走险在谷歌年度大会的前一天发布更新。
事实也的确如此,OpenAI 这一次看似临时攒局的线上直播发布会,实则有备而来。
本次 OpenAI spring updates 未见 Sam Altman 的身影,而是由公司的 CTO Muri Murati 带来了一系列更新,包括了:
GPT-4o
ChatGPT 的语音交互功能
ChatGPT 的视觉能力
GPT-4o:语音 buff 加持,所有用户免费使用
自 2023 年 3 月发布以来,GPT-4 霸榜已久,只要有新模型发布,便会被搬出山来进行一番对比,这也足以证明其性能之强大。此外,GPT-4 也是 OpenAI 现阶段极具商业价值的「摇钱树」,屡屡被马斯克炮轰「不 Open」。
更重要的是,面对 Meta 开源的 Llama、谷歌开源的 Gemma、马斯克开源的 Grok,基于 GPT-3.5 的免费版 ChatGPT 压力倍增。而在 GPT-5 迟迟没有露面之际,不少网友都猜测,OpenAI 会释放出新版本的 GPT-4 来接替 GPT-3.5。
不出所望,在今天的直播中,OpenAI 发布了新版本 GPT-4o,所有用户都可以免费使用,付费用户将拥有 5 倍于免费用户的容量限制。 其中的 「o」表示「omni」,寓意着向更自然的人机交互迈进。
![](https://static001.geekbang.org/infoq/d7/d75b5998fa564064ba9601974c00c5cd.png)
OpenAI CTO Muri Murati 介绍道,GPT-4o 提供了 GPT-4 级别的 AI 能力,能够基于语音、文字和视觉进行推理。 其接受文本、音频和图像的任意组合输入,并能够生成文本、音频和图像的任意组合输出。
在 GPT-4o 之前,使用语音模式与 ChatGPT 对话的平均延迟时间为 2.8 秒 (GPT-3.5) 和 5.4 秒 (GPT-4)。为优化交互体验,OpenAI 在文本、视觉和音频方面训练了一个端到端新模型,这意味着所有输入和输出都由同一个神经网络处理,从而减少了信息丢失。
![](https://static001.geekbang.org/infoq/70/70851c23f10ecafafb0168f96bc76e88.png)
性能方面,GPT-4o 能在 232 毫秒内对音频输入做出反应,平均反应时间为 320 毫秒,这与人类在对话中的反应时间相近。 此外,GPT-4o 在英语和代码文本方面的性能与 GPT-4 Turbo 相当,在非英语语言文本方面也有显著提高,改进了 50 种不同语言的质量和识别速度。同时,在 API 方面速度是原来的 2 倍,但价格却便宜 50%。
![](https://static001.geekbang.org/infoq/30/30bfd68f178bf59a6f7830c0924d0e67.png)
外,GPT-4o 的推理能力也有大幅提升,官方数据表示,GPT-4o 在 0-shot COT MMLU(常识题)中创造了 88.7% 的新高分。
![](https://static001.geekbang.org/infoq/a2/a2059771b22d49ee86675299f8ca234d.png)
OpenAI 的 William Fedus 晒出了 GPT-4o 在 LMSys 榜单上的排名情况,团队给 GPT-4o 的命名也很有意思:im-also-a-good-gpt2-chatbot。
![](https://static001.geekbang.org/infoq/21/2168d8b889761726b3a74baea3d73c88.jpeg?x-oss-process=image%2Fresize%2Cp_80%2Fauto-orient%2C1)
他还介绍道,在更难的提示集上、尤其是在编码能力上,GPT-4o 的水平比 OpenAI 此前最先进的大模型高出 +100 ELO。
![](https://static001.geekbang.org/infoq/9d/9d7eb7ac71f440ea4d35ebe2ddfd1337.jpeg?x-oss-process=image%2Fresize%2Cp_80%2Fauto-orient%2C1)
William Fedus 直言,GPT-4o 不仅是世界上最好的模型,而且在 ChatGPT 中免费提供,这在前沿模型中开辟了先例。
在某种程度上,GPT-4o 可以看作是 OpenAI 对于其「开源」产品的更新,而对于外界屡次诟病的「OpenAI 不 Open」,Sam Altman 也在其 blog 中表示:「OpenAI 的使命之一就是免费(或以优惠价格)向人们提供功能强大的人工智能工具。我感到非常自豪的是,我们在 ChatGPT 中免费提供了世界上最好的模型,没有广告或类似的东西。 」
对于 GPT-4o 的性能,Sam Altman 也毫不吝啬赞美之词:「新的语音(和视频)模式是我用过的最好的计算界面。它给人的感觉就像电影中的人工智能;而它的真实性仍然让我感到有些惊讶,其中的一个重要变化便是达到人类水平的响应时间和表现力。 」
![](https://static001.geekbang.org/infoq/08/0863339e1d4da47568b17e3ee09155e2.jpeg?x-oss-process=image%2Fresize%2Cp_80%2Fauto-orient%2C1)
随后,Altman 还在其账号发布了「her」,也暗示了自己新版模型将开启「Her 时代」。
值得注意的是,GPT-4o API 中并没有为所有客户提供语音功能。
OpenAI 表示,GPT-4o 通过过滤训练数据和后期训练完善模型行为 (refining the model’s behavior through post-training) 等技术,在设计中就考虑到了各种模式的安全性,团队还创建了新的安全系统,从而为语音输出提供保护。
尽管如此,OpenAI 还是以滥用风险为由表示,计划在未来几周内首先向 「一小部分可信赖的合作伙伴」推出对 GPT-4o 的新音频与视频功能。
![](https://static001.geekbang.org/infoq/8c/8c08659a3c7f3692eb42d9db398f01d5.jpeg?x-oss-process=image%2Fresize%2Cp_80%2Fauto-orient%2C1)
而 GPT-4o 的文本和图像功能今天开始便会在 ChatGPT 中推出。未来几周,OpenAI 将在 ChatGPT Plus 中推出带有 GPT-4o 的新版语音模式 alpha。开发人员现在也可以在 API 中以文本和视觉模式访问 GPT-4o。
Her 时代来了:ChatGPT 有感情的语音交互
早在今年 2 月,前 OpenAI 开发者关系负责人就提及,ChatGPT 的终极形态不仅仅是聊天。
![](https://static001.geekbang.org/infoq/65/651ae99644aaaf945485153cd5985ef8.png)
5 月 11 日,Sam Altman 也在一档播客节目中称,OpenAI 将继续改进并提升 ChatGPT 的语音功能质量,并表示语音交互是通向未来交互方式的一个重要途径。
在发布会上,OpenAI 也展示了其提升 ChatGPT 语音质量的阶段性成果——基于 GPT-4o 实现了语音交互,且响应速度大幅提升。
具体而言,ChatGPT 的升级更新主要体现在三个方面——实时交互、多模态输入输出、感知情绪。
在实时交互方面, 在现场演示中,ChatGPT 几乎可以即时回应提问者的所有问题,提问者如果出言打断 ChatGPT 的回答,其也能够停下来。Muri Murati 还应现场观众的要求,展示了 GPT-4o 的实时翻译功能。
![](https://static001.geekbang.org/infoq/0a/0af8123628f18b1ee369b62a0f015596.png)
多模态输入/输出则无需赘述,基于 GPT-4o 的 ChatGPT 能够识别文本、语音与视觉信息,并根据需求以任一形式进行回答。
在感知情绪与情绪反馈方面, 升级后的 ChatGPT 能够根据人物自拍照,快速分析人物的面部情绪。同时还可以根据对话者的要求调整说话时的语气,从夸张戏剧到冰冷机械,甚至还可以唱歌,这展示了其出色的可塑性。
需要升级 ChatGPT Plus 可以参考 升级 ChatGPT Plus 保姆级教程 ,一步步详细操作进行升级。
对此,Muri Murati 表示:「我们知道这些模型越来越复杂,但我们希望交互体验变得更自然、更简单,让你完全不用关注用户界面,而只关注与 GPT 的协作,这一点非常重要。」
![](https://static001.geekbang.org/infoq/cf/cf8ce59169994b71d61eef690df2bf9d.png)
此外,在推理分析方面,GPT-4o 还改进了 ChatGPT 的视觉功能。给它一张拍摄的照片,ChatGPT 可以快速浏览图片的内容并回答相关问题,比如拍照解决数学问题。
![](https://static001.geekbang.org/infoq/48/4803934f7da32b2aae597af6dd7dad0b.png)
还可以根据分享的代码图片描述代码的具体内容,分析假若改变代码其中的一个变量,将会产生什么具体影响。
![](https://static001.geekbang.org/infoq/14/14024cfc2e1fa5d4fb37113dbfbc4407.png)
给 GPT-4o 一个图表,它还能够对图表的内容进行具体分析。
![](https://static001.geekbang.org/infoq/99/99ec91a9a820d42915dd38a35dc9e578.png)
OpenAI 的这一创新尝试将 ChatGPT 的应用横跨语音、文本和视觉,这预示着未来人机交互可能会更加自然和流畅。
对此,OpenAI 表示,具有视觉和音频功能的 AI 语音助手具有像智能手机一样的变革性潜力,理论上它可以做到一系列现在的 AI 助手无法做到的事,比如充当论文、数学指导老师,或是翻译交通标识、帮助解决汽车故障等。
写在最后
从 GPT 横空出世以来,OpenAI 一度被视为大模型时代的「风向标」。细数硅谷的传统巨头:
微软与 OpenAI 的关系微妙,既是金主投资人,也在自家业务中部署了 GPT 模型,同时还为 OpenAI 提供云服务;
苹果今年开始在生成式 AI 上加大投入,并发布了自研大模型,但起步稍晚,能否撼动 OpenAI 地位仍未可知,同时还有爆料称苹果已经要和 OpenAI、谷歌在大模型上进行合作;
亚马逊作为全球最大的云基础设施提供商,虽然也推出了自家的大模型 Amazon Titan,但这只是其云托管服务 Bedrock 的一部分,尽管亚马逊还投资了 Anthropic,但目前看来还是难与 OpenAI 抗衡。
一番对比,谷歌似乎是最有希望和 OpenAI 掰掰手腕的企业,不仅有深厚的技术积累(Transformer 架构便是出自谷歌),还有丰富的生态供大模型一展拳脚。
然而,关注谷歌的读者或许能够发现,这位老牌巨头在大模型时代有点「汪峰」体质了(狗头保命)——从 Bard、PaLM 2 在性能上不及 GPT-4,到颠覆巨作 Gemini 1.5 发布被 Sora 抢热度,再到 3 月就定档的 Google I/O 大会在最佳造势期被 OpenAI 的一个「临时起意」的直播抢风头……
评论