更强模型、更低价格、更易落地，豆包大模型日均 tokens 使用量超 5,000 亿，落地实践再进阶

2024-08-16
云南
本文字数：3028 字
阅读完需：约 10 分钟

8 月 15 日，2024 火山引擎 AI 创新巡展·厦门站成功举办，会上围绕豆包大模型的模型能力和落地应用进行全面展示。来自果集、美图之家、众联世纪等客户企业的嘉宾，于巡展现场讲述了如何借助豆包大模型、火山方舟、扣子专业版、HiAgent、AI 全栈云等产品及解决方案，更好地将 AI 结合到业务之中。

火山引擎副总裁张鑫

火山引擎副总裁张鑫在会上介绍当前大模型行业应用落地的误区与破局之路。当前大模型的落地场景呈“百花齐放”之势，火山引擎联合 Rolling AI 和 InfoQ 研究中心发布的《生成式 AI 商业落地白皮书》显示，53%大企业已经开始了生成式 AI 创新的落地尝试。张鑫指出，大模型和生成式 AI 将带来交互方式、开发方式以及研发范式、效率体验等多方面的变革，然而，AI 场景落地过程中也存在多种陷阱与误区。为了更好地帮助企业把握大模型和生成式 AI 带来的机遇，火山引擎一直和企业伙伴在大模型应用方面紧密合作，在电商、教育、科研、先进制造等多个行业场景里取得了一定的破局成果。

01.

豆包大模型、火山方舟

为企业 AI 创新与落地提供有力支持

截至 7 月，豆包大模型日均 tokens 使用量已突破 5,000 亿。从今年 5 月 15 日模型发布到 7 月份的 2 个月时间内，豆包大模型的平均每家企业客户日均 tokens 使用量增长了 22 倍。通过高使用量的持续打磨，豆包大模型获得了更强的模型能力。其中，豆包通用模型 pro 在多个公开评测集以及专业的第三方评测中表现出众，是得分最高的国产大模型。

火山引擎智能算法负责人、火山方舟负责人吴迪

火山引擎智能算法负责人、火山方舟负责人吴迪介绍，通过对模型基础能力的持续升级，豆包大模型拓展了应用场景和功能边界，能满足用户多样化、复杂化的需求。此外，豆包大模型还给出了最高可达同梯队模型数倍的初始每分钟处理 tokens 限额，让模型服务具备更强的承载力，能够应对高并发场景。

除模型效果外，落地难度也是企业应用大模型的重要考量之一。为满足垂直领域需要，企业通常需要将大模型能力与业务场景需求进行适配。一站式大模型服务平台火山方舟提供模型精调、推理、评测等全方位功能与服务，并以丰富的插件生态和 AI 原生应用开发服务，帮助企业定制化落地大模型。为帮助企业更便捷落地大模型，火山方舟对联网插件、内容插件、RAG 知识库插件等优质插件升级，拓宽模型能力边界，满足企业多样化需求。同时，扣子专业版能够用低代码方式灵活构建智能体，结合插件、工作流、图像流、知识库、数据库等一系列工具的支持，帮助企业轻松落地 AI 应用。

福州果集 CTO 姜豪

社交媒体营销是大模型的重点应用领域之一。福州果集是社交媒体平台数据、产品与全链路服务提供商，借助豆包大模型打造社媒数据 AI 分析平台，完成社媒营销数据分析的数据处理，为客户生成行业、产品分析报告，形成数字化洞察、帮助制定传播策略，实现 30 秒实时生成社媒营销分析报告与溯源。福州果集 CTO 姜豪指出，豆包大模型的高 TPM、高 RPM 支持，保证了果集业务的稳定性。

02.

HiAgent

助力统一、标准、安全大模型调用

当前，企业应用生成式 AI 的方案复杂度不断增加。企业专属 AI 应用创新平台 HiAgent 通过低代码的 AI 应用构建能力，满足业务人员自主构建 AI 应用的需求，摆脱专业知识限制，实现生产力提升。

火山引擎 HiAgent 产品负责人于鸿磊

火山引擎 HiAgent 产品负责人于鸿磊表示，HiAgent 将模型应用开发方式从代码进化到自然语言，帮助企业业务人员快速搭建智能体；通过增强的企业级知识库 RAG，让知识沉淀萃取成智慧；丰富的专属企业级特性，允许企业自定义新 AI 中台，并支持混合部署。HiAgent 在教育、消费、公共服务、泛企业等多个行业与领域拥有丰富的落地实践，帮助企业实现大模型能力的落地应用，加速智能化发展。

03.

AI 全栈云

为企业打造 AI 应用提供坚实底座

火山引擎云基础产品负责人罗浩

生成式 AI 的突破式发展，对算力提出了前所未有的高需求。火山引擎云基础产品负责人罗浩介绍到，火山引擎 AI 全栈云依托与字节跳动的海量资源共池，从诞生起，所有的 IaaS、PaaS 层资源，以及推荐算法、数智平台等中台体系产品，都生长于同一朵云上。数据中心、软硬件基础架构的统一，避免了“算力孤岛”和“数据孤岛”问题，结合火山引擎自研服务器、自研 DPU 卡、调度算法等技术能力，火山引擎 AI 全栈云在性能、稳定性和成本上具备了更大的优势。

在大模型训练、推理场景中，火山引擎 AI 全栈云提供大规模算力支持、超高性能网络和存储以及持续高可用性，同时兼顾极致成本，为企业的 AI 创新带来可靠保障。

更大规模：依托字节跳动的海量资源共池，支持多芯、多云架构，拥有超大规模算力，支持万卡集群组网规模下的线性加速能力。

更强性能：提供超高性能网络，支持 3.2Tbps RDMA 网络，全球网络 POP 覆盖广，时延优化最高达 75%；提供优质的存储性能，文件存储 vePFS 支持 2TB/s 吞吐并行存储、3,000 万 IOPS。

更高稳定性：提供毫秒级性能监控，智能 GPU 自愈能力，保障计算资源的稳定运行。

更优成本：提供灵活的资源使用和计费方式，自研 mGPU 容器共享方案，GPU 利用率提升 100%+。

此外，火山引擎 AI 全栈云还提供强大的弹性调度能力、一站式资源服务和全链路数据管理能力，助力企业高效、弹性构建 AI 训练或推理业务，加速企业实现 AI 应用落地，释放 AI 创新潜力。此外，火山引擎 AI 全栈云还提供强大的弹性调度能力、一站式资源服务和全链路数据管理能力，助力企业高效、弹性构建 AI 训练或推理业务，加速企业实现 AI 应用落地，释放 AI 创新潜力。

美图公司高级技术总监郭晨晖

美图公司高级技术总监郭晨晖在会上分享了 AI 驱动美图用户与收入双增长的实践经验。美图公司基于奇想大模型，已经将 AI 图像、AI 视频、AI 设计等全系产品服务与 AIGC 高度融合，并从 AI 的单点功能串联成 AI 工作流提供场景化的服务能力。同时在火山引擎千卡 GPU 资源供应支持下，借助豆包大模型实现 AI 内容生成、Prompt 优化以及火山引擎语音合成、语音识别、文本翻译等通用 AI 技术为用户提供更好的生成能力，帮助用户提效增收。

04.

大模型文旅解决方案发布

助文旅产业转型创新、游客体验升级

会上，火山引擎正式发布了大模型文旅解决方案。张鑫认为，福建地区旅游资源集中，在视频新媒介出现之前，旅客消费行为的游前、游中、游后等步骤是分散在不同媒介形态中实现的，导致旅游的消费行为路径割裂、低效。火山引擎将这些步骤在同一个媒介中实现，通过与大模型的结合，极大改变了游客的消费行为方式，使得从出行决策到旅程完成的行为链路极速缩短。