陆奇:“模仿”微软 Copilot,结构性代际因边际成本转为固定成本
撰文|宇婷
OpenAI 一路走下来的关键技术
GPT-1 是第一次使用预训练方法来实现高效语言理解的训练;
GPT-2 主要采用了迁移学习技术,能在多种任务中高效应用预训练信息,并进一步提高语言理解能力;
DALL·E 是走到另外一个模态;
GPT-3 主要注重泛化能力,few-shot(小样本)的泛化;
GPT-3.5 instruction following(指令遵循)和 tuning(微调)是最大突破;
GPT-4 已经开始实现工程化。
2023 年 3 月的 Plugin 是生态化。
周末下午在机场等机,恰好有时间听了奇绩创坛创始人兼 CEO 陆奇对话创业者,并做了几个社群的直播。陆奇是从商业和技术角度,最为有话语权的中国创业者、高官和技术 Leader。
体感上,第一陆奇效率非常之高,他会打断创业者分享不清楚,以及重复的表达,但他非常开放,且角度是提升效率完全不带有任何情感色彩,很纯粹。第二他说话非常有力。第三他直接提出,最佳路径就是直接模仿微软的“副驾驶仓”Copilot,非常务实。
我总结了自己记忆犹新的观点:
如果长期基于中国业务,建议使用中国大模型
创始人未来重要能力:独到见解,懂人性。创新需要边做边学,大学未来真正要培养创新的能力,培养学生学习懂社会、人的能力
在国内做 OA 要跟腾讯阿里字节 pk,机会有,范式改变的时候(AI)创业公司有机会,因为创业公司可以很快把东西做出来,但必须在激烈竞争的国内有独到见解。
在 AI 范式改变的当下:技术只会在很短暂时间里成为壁垒,尤其是算法(因为聪明人太多)。核心起步是你是不是有独有的数据,避免 chatgpt 淹掉(美国 yc 一大批公司被 gpt 淹没)。数据成为模型之后,使用效果能否成为闭环。
连续创业者踩的坑是最值钱的。唯一是踩了很快爬出来,把大坑变小坑。
盖茨提出如果用自动化替代工人,就要交更多税,平衡速度。以及新的教育方式,新的技能培养。第三最终 5%的人工作,95%的人在更大空间的体育和电竞领域这种新体验的领域。
创始人时间分配:找到客户及交流;如何在产品不 ready 时说清楚产品。用好社区交流,是保持产品差异化的方式。
与此同时,腾讯新闻《潜望》张小珺老师写了一篇文章:分享了陆奇的大模型世界观。其中有一些观点:
今天大部分数字化产品和公司,包括 Google、微软、阿里、字节,本质是信息搬运公司。一定要记住,我们所做的一切,一切的一切,包括在座的大部分企业都在搬运信息。
一家伟大公司叫 Google。为什么会有这个拐点?为什么会有爆炸式增长?把这个观点讲清楚,就能把今天的拐点讲清楚。
原因是,获取信息的边际成本开始变成固定成本。
一定要记住,任何改变社会、改变产业的,永远是结构性改变。这个结构性改变往往是一类大型成本,从边际成本变成固定成本。
Google 为什么伟大?它把边际成本变成固定成本。Google 固定成本很高,但它有个简单商业模式叫广告,它是世界上高盈利、改变世界的公司,这是拐点关键。
模型的成本开始从边际走向固定,大模型是技术核心、产业化基础。OpenAI 搭好了,发展速度爬升会很快。为什么模型这么重要、这个拐点这么重要,因为模型和人有内在关系。
这一次大模型拐点会让所有服务经济中的人、蓝领基本都受影响,因为他们是模型,除非有独到见解,否则你今天所从事的服务大模型都有。下一时代典型的职业,我们认为是创业者和科学家。
在未来,自动化、自主化的动作可以无处不在。
人和数字化的技术共同进化。Sam 最近经常讲,它必须要共同进化,才能达到通用智能(AGI)。通用智能四大要素是:涌现(emergence)+代理(agency)+功能可见性(affordence)+具象(embodiment)。
一开始比尔·盖茨根本不相信 OpenAI,大概 6 个月前他还不相信。4 个月前看到 GPT-4 的 demo(产品原型),目瞪口呆。他写了文章说:It’s a shock,this thing is amazing(这太令人震惊了,这东西太神奇了)。谷歌内部也目瞪口呆。
你应该使用 Transformer。Transformer 是密度模型,它不光是算力问题,对带宽要求极高,你就想 GPT-4 需要 24000 张到 25000 张卡训练,试想世界上多少人能做这种系统。所有数据、data center 网络架构都不一样。它不是一个三层的架构,必须是东西向的网络架构。所以这里要做大量的工作。
Token 很重要。全世界可能有 40-50 个确定的 token,就是语言的 token 和模态,现在有更多的 token 化。
他要设计一个结构,让它不受任何股东的制约。于是,OpenAI 的投资者没有控制权,他们的协议是一种债的结构。如果赚完 2 万亿,接下来是 non-profit(不再盈利了),一切回归社会。这个时代需要新的结构只要到了一定深度,bigness is betterness(大就是好)。只要有算力,只要有数据,越大越好。
现在 OpenAI 核心做的是,把推进速度变慢,每推进新版本,都有足够时间让用户给他们足够反馈,找到潜在风险点,有足够时间弥补。
每个行业也会有结构性影响,会系统性重组。这里有一个简单公式。今天动脑筋的人一天平均工资多少小时?减掉 ChatGPT 现在大概平均是 15 美元/小时,再过 3 年可能不到 1 美元,再过 5 年可能几十美分。然后就乘一下有多少数量。降本或者增效,让码农能变成 super 码农,医生变成 super 医生。
假定说有个大学生什么都不懂,物理也不懂、化学也不懂,但他懂怎么问 ChatGPT,他算不算一个好的大学生?机会与挑战并存。
B 端,企业需求也一样,降本增效。它要生产,有供应链、销售、客服……有了这些需求之后,数字化看得见的体验结构有 6 种:给你信息的,二维就够;给你三维交互体验,在游戏、元宇宙;人和人之间抽象的关系,包括信任关系、Web 3;人在物理世界环中自动驾驶、机器人等;人的内在的用碳机植入到里面,今天是脑机接口,以后有更多,以后是可以用硅基;最后是给你模型。
不要浮夸,不能蹭热。我个人最反对蹭热,你要做大模型,想好到底做什么,大模型真正是怎么回事,跟你的创业方向在哪个或哪几个维度有本质关系。蹭热是最不好的行为,会浪费机会。
在这个阶段要勤于学习。新范式有多个维度,有蛮大复杂性,该看到的论文要看,尤其现在发展实在太快,非确定性很大。我的判断都有一定灰度,不能说看得很清楚,但大致是看到是这样的结果。学习花时间,我强烈推荐。
想清楚之后要行动导向,要果断、有规划地采取行动。如果这一次变革对你所在的产业带来结构性影响,不进则退。你不往前走没退路的,今天的位置守不住。如果你所在的产业被直接影响到,你只能采取行动。
评论