写点什么

百度智能云千帆大模型平台率先适配 Falcon-180B!

作者:Geek_2d6073
  • 2023-09-08
    湖北
  • 本文字数:1190 字

    阅读完需:约 4 分钟

日前, Falcon-180B 作为参数最大的开源大模型,正式发布并支持免费商用,引发业界广泛关注。百度智能云千帆大模型平台第一时间适配了 Falcon-180B,并提供模型微调、部署、应用开发的全流程工具链和开发环境,方便企业和开发者率先体验。

据了解,Falcon-180B 在推理、编码、熟练度和知识测试各种任务中表现出超强性能,一经发布便登顶 Hugging Face 排行榜。为方便开发者应用最新的大模型能力,百度智能云千帆平台第一时间适配了 Falcon-180B,开发者、企业现在即可在平台的“模型仓库”中申请体验,开发者还可自行将模型导入平台,从而使用平台的全部功能。




(开发者可自行导入 Hugging Face Transformer 格式的任意模型)

据了解,为满足开发者和企业多样化的模型需求,百度智能云千帆平台此前就已经接入了 Falcon-7b 和 Falcon-40b-instruct。截至目前,平台已纳管了包含 Falcon、Llama 2 全系列、RWKV、Stability Diffusion 在内的 42 个国内外主流大模型,稳居国内模型数量第一。

百度智能云方面表示,百度智能云千帆平台不只是简单的接入,还对第三方模型进行二次的性能增强、安全增强、中文增强和上下文增强。比如,在性能增强方面,训练 Llama2 的总体吞吐可以提升 25%,推理性能甚至可以提升 2 倍。

在企业客户最关注的安全方面,百度智能云千帆平台提供模型安全、内容安全和数据安全多重保障。包括设计专用隔离域,保护模型资产安全;预置安全模块,有效控制输入输出的内容风险;提供从模型、数据到日志的全链路加密,保障数据安全。三管齐下,让模型厂商和客户均能享有平台的安全保障。

对于大多数企业来说,模型的开发部署仍存在较高门槛。为帮助企业用好大模型,百度智能云千帆的工具链贯穿大模型完整的生命周期。基于一站式的可视化工具,客户验证模型效果的时间大幅缩短,一天就可以跑通一个模型并看到效果。

在数据方面,为解决企业模型训练数据质量要求高、成本高的问题,百度智能云千帆平台还预置了 41 个高质量有行业特色的数据集,开发者点几个按钮就可以完成微调、提高模型效果,进一步降低企业使用、训练和推理大模型的门槛。

在算力方面,百度智能云千帆平台在万卡集群训练大模型时,模型有效训练时间达到 95%以上。万卡规模集群中的加速比可以达到 95%,充分释放集群的整体算,大幅降低客户的算力成本和时间成本。值得一提的是,平台还兼容国内外主流芯片和操作系统,客户的算法可以最小的修改成本运行。



在刚刚结束的 2023 百度云智大会上,百度智    

(百度智能云千帆大模型平台 产品全景图)能云千帆大模型平台实现了 2.0 全面升级。截至目前,平台月活企业数已近万家,覆盖金融、制造、能源、政务、交通等行业的 400 多个场景。

百度集团执行副总裁、百度智能云事业群总裁沈抖表示“任何新技术的真正落地,都需要相应的方法论和工具的支撑。”,“我们用了半年时间,不断沉淀经验、积累工具,对百度智能云千帆平台做了大量升级,让大模型平台更好用、更贴心。”

用户头像

Geek_2d6073

关注

还未添加个人签名 2021-12-22 加入

还未添加个人简介

评论

发布
暂无评论
百度智能云千帆大模型平台率先适配Falcon-180B!_Geek_2d6073_InfoQ写作社区