大模型一体机是在“卖盒子”吗?
如果要找一个海内外大模型商业化探索的差异点,“一体机”应该榜上有名。
微软、谷歌、OpenAI 等,主要通过基于云的 AI 服务和 API 接口来实现商业化。当然也有硬件,比如英伟达推出的 Jetson,就是面向边缘计算和 AI 应用的一款设备,可以用来在边缘场景中运行复杂的 AI 模型,但更多的是作为一个通用的 AI 计算平台,而不是集成了特定大模型的一体机。
与之相比,“大模型一体机”在中国市场的热度更高。主流 AI 大模型厂商、ICT 服务商及 ISV 服务商,几乎全部下场了。
AI 大模型厂商,如百度的千帆大模型一体机、科大讯飞的星火一体机、智谱 AI 的智谱 GLM 昇腾大模型一体机。ICT 厂商和 ISV 服务商也都在积极推出各种场景化一体机,比如新华三面向政企客户的 AIGC 灵犀一体机,达观数据面向企业市场的“曹植”大模型一体机,商汤科技的金融大模型检索问答一体机,中软国际面向政府市场的 JointPilot“四问(问数、问视、问策、问服)”系列大模型一体机等。
![](https://static001.geekbang.org/infoq/19/1989593c9c4877bf5b4fd6637e524945.jpeg?x-oss-process=image%2Fresize%2Cp_80%2Fauto-orient%2C1)
大模型一体机,是一个非常有意思的赛道。
有人说,大模型一体机更符合国情,类似于“卖盒子”,也就是软硬结合,将软件带硬件盒子一起卖给客户,这在 ToB/ToG 市场很好用,因为更符合“拍板领导”的认知范围,不认可软件的价值,只愿意为看得见摸得着的硬资产付费。
大模型一体机,通过将计算硬件和 AI 大模型及相关支持软件,紧耦合封装在一起,方便客户使用大模型来实现 AI 应用,可以看作是 AI 版的“卖盒子”,是一种好的商业模式吗?
一体机里,除了大模型还有什么?
首先有必要搞清楚,大模型一体机究竟在卖什么?市面上的大模型一体机,主要由几个部分构成:
硬件。大模型的训练和推理,需要大量的算力资源,涉及高性能 AI 硬件。大模型一体机搭载 AI 硬件,并针对模型进行优化调校。尤其是国产芯片,有数据显示,通过优化,可以将国产芯片性能提升 20%-30%,吞吐量提升 6-7 倍,因此大模型一体机可以提供更高的算效。
![](https://static001.geekbang.org/infoq/78/783a7e681fc044175cc5f2176162cb79.jpeg?x-oss-process=image%2Fresize%2Cp_80%2Fauto-orient%2C1)
2.大模型。满足客户使用大模型、开发 AI 应用的需求,大模型一体机中内置的大模型也各有特色。这里简单介绍两种,一种是单一大模型的一体机,比如软通动力联合百川智能推出的“软通-百川 AI 大模型一体机”,就预装了百川大模型。另一种是开源开放的大模型一体机,提供丰富的基座大模型让企业测试、调用,比如百度的千帆大模型一体机,除了内置百度自研的文心大模型,也提供 Llama、Baichuan、ChatGLM 等十余个主流开源大模型。
3.全栈工具。通用场景的大模型,是无法直接被特定领域、垂直场景来使用的。举个例子,很多行业还没有高质量的语料,一些知识经验还没有被文本化、数据化,导致大模型无法充分学习。所以,想要用好大模型,很多企业还需要有工程师来进行数据治理,建立高质量的行业语料和知识库,做好提示词工程,开发业务友好的插件……从零搭建起全栈 AI 开发能力,有着不小的工程量。而大模型一体机,针对垂直场景进行过优化微调,集成了易用的平台化工具,可以将原本几个月的开发周期缩短到几天、几小时,实现特定行业专属大模型的快速部署。
![](https://static001.geekbang.org/infoq/86/86ef2ec5e80fccc2e6e57bd99031ada9.jpeg?x-oss-process=image%2Fresize%2Cp_80%2Fauto-orient%2C1)
4.支持服务。不同于传统软件,大模型需要持续学习,根据人类反馈和数据集及时更新迭代,具有很强的时效性,需要服务商更快、更有针对性地响应。而作为整体解决方案出售的大模型一体机,包含了一定程度的技术支持和服务,可以解决企业长期应用大模型的问题。
不难发现,相比单纯售卖 AI 服务和 API 的商业模式,开箱即用的大模型一体机,能够缩短部署周期、深度结合场景、打消落地门槛,是更符合当下产业现状的一种选择,也可以让更多企业更快地用好大模型。
大模型一体机,不等于传统盒子
国内企业纷纷推出大模型一体机时,我所在的一个行业群,有人表示:国内就是软件不值钱,硬件值钱。
提供服务和解决方案的商业模式,优于“卖盒子”,是一个业内流传已久的观念。
尤其是在传统企业软件和云计算领域,“卖盒子”被认为是市场不够成熟的无奈之选,因为以前很多甲方的领导不了解软件技术,觉得硬件更有科技含量。而在销售方式上,卖盒子壁垒不高,拼的不是产品创新,而是客情关系和酒量。商业回报上,卖盒子涉及定制成本、人力维护成本,无法像软件那样通过规模化获得非线性增长,干的都是苦活累活。
既然大模型一体机,也是将大模型及相关软件与硬件集成,作为一个整体产品出售来“卖盒子”。这种商业模式究竟好不好呢?
这里要明确,尽管都是将软硬件集成在一起售卖,但此一时彼一时,大模型一体机并不能等同于传统的“卖盒子”模式。
从市场源头的需求驱动力来看,购买一体机的用户,并非“不懂大模型”。
认为“卖盒子”比“卖软件服务”low,往往是觉得 ToB 市场的很多客户不懂软件,不明白为什么一张 license 要卖那么贵,必须封装到盒子里才肯买单。
![](https://static001.geekbang.org/infoq/14/14251c713f613d1107f453a8db910035.jpeg?x-oss-process=image%2Fresize%2Cp_80%2Fauto-orient%2C1)
但今时今日,随着数字化、智能化的深入,各行各业的企业决策者,很少有人不认可大模型的价值,不认可数据工程、知识工程等“软实力”之于 AI 落地的意义。恰恰相反,大模型一体机的市场崛起,正是因为对应用大模型、开发专属大模型的迫切渴求。
如果说以前“卖盒子”有点买椟还珠的味道,那么现在,一体机中大模型这颗“明珠”在企业市场的认可度,是毋庸置疑的。
除了“软实力”的价值受到认可,大模型一体机的硬件,也更加多元化。
“卖盒子”的另一类诉求是,将硬件作为企业资产的一部分,更好估价,导致了硬件过度堆砌、脱离业务实际需求的情况。显然,大模型一体机市场,也并不是这样的。
我们注意到,大模型一体机的供应商,普遍会提供多种部署方案,既有低成本的轻量级一体机,也有针对大中型客户的定制化高配一体机,相当于中杯、大杯和超大杯。企业完全可以立足于业务场景的实际需求,选择最适合自己的硬件版本,无需重度投入过多的硬件资源。
“不是高配一体机买不起,而是轻量一体机更有性价比”,价值导向、实用导向驱动的大模型一体机,拼的主要是产品力,在供给和销售策略上也更合理、更市场化。
另外值得一提的是,“卖盒子”曾被认为是迎合了中国企业缺乏“安全感”的心理,进行(没有太大必要的)私有化本地部署。那么,支持本地部署、强调数据隔离与安全保障的大模型一体机,有必要吗?
相信了解大模型技术的读者,都会很快做出判断:很有必要。
![](https://static001.geekbang.org/infoq/4c/4ccc4207b0b437cc1b5f860de2dd8269.jpeg?x-oss-process=image%2Fresize%2Cp_80%2Fauto-orient%2C1)
大模型不同于传统的软件技术,其训练和推理都会涉及大量重要隐私数据,又存在“幻觉”问题,对数据监管和内容安全的担忧并非杞人忧天。
而大模型一体机的本地私有化部署,可以帮助企业实现数据隔离与网络隔离,减少数据传输及存储的风险,确保数据资产的安全性。不打消客观存在的安全顾虑,大模型是很难落地到“最后一公里”的。
所以,大模型一体机并不等于传统的“卖盒子”,而是从复杂产业实际出发的一种选择。
大模型一体机,到底谁在用?
当然,大模型一体机确有其用,并不意味着每一个开发者、每一家企业都适合。
相比大模型一体机少则几万、多则几十万的前期投入成本,通过 API 调用次数或计算资源计费,一个 token 只需要几分钱,初始成本更低。那么,这大模型一体机到底是谁在用啊?
有三类群体,应该将大模型一体机的集成方案,作为重点考量:
一是风险敏感型。
包括数据隐私安全风险,以及供应链断链风险。软硬件协同优化的一体机,可以让 AI 大模型在国产硬件上也有不错的性能表现。对于有信创需求的企事业单位,是更优解。
公开报道显示,基于昇腾 AI 硬件底座的软通 AI 训推一体化平台,就受到央国企、科技机构、教育、金融等领域客户的认可。
![](https://static001.geekbang.org/infoq/93/936afbdcc16f89e4acd699b30b0dbff9.jpeg?x-oss-process=image%2Fresize%2Cp_80%2Fauto-orient%2C1)
二是长期运营型。
一位开发者朋友,在调用了 GPT4-Turbo 之后表示:“太烧钱了!” 他所用的非代码调用场景,一次要花费 0.5 元,长期用是不可承受的,于是选择了能力更低的 GPT-3.5+其他模型的组合拳。
大模型 API 基于 token 使用量的计费方式,虽然初始阶段看起来成本更低,但总体拥有成本(TCO)却未必。实践看来,企业应用 AI,并不意味着所有任务都要使用云端先进大模型的完整能力。
大模型一体机提供的更丰富的模型选型、本地化部署、优化过的性能保障,可能让企业 AI 开发应用的全生命周期,打好“组合拳”。
![](https://static001.geekbang.org/infoq/13/1301b9e2eb0f9b9345141a3b2e570682.png)
三是非 AI 原生型。
大模型火爆之后,很多行业和企业才开始关注 AI、使用 AI,没有积累相关的开发能力和人才,对技术也是一知半解,这时候想要在自身的业务场景中快速上马大模型,可能要面临短期内资源紧缺的溢价情况,被迫在算力市场、人才市场进行竞价,试错成本更高。这时候,通过大模型一体机的小时级一站式交付、即插即用,可以快速试错。
比如一个普惠版的大模型一体机,不需要 A100 这类高端显卡,就可以帮助企业打造一个专属大模型,开发出小型的知识库应用或 AIGC 类应用,让业务智能化起来,让大模型不再遥远。
大模型的商业化探索还处于早期,用传统的眼光去看待新兴事物,未尝不是一种刻舟求剑。大模型不一定要捆绑硬件来凸显价值,但一定要结合硬件来充分释放价值。
从这个角度来说,大模型一体机的商业内核,与以往的“卖盒子”有本质的不同,或许能为企业市场带来一种全新的商业机遇。
版权声明: 本文为 InfoQ 作者【脑极体】的原创文章。
原文链接:【http://xie.infoq.cn/article/d3646560c29f37450e6d1c9f0】。
本文遵守【CC-BY 4.0】协议,转载请保留原文出处及本版权声明。
评论