一键部署,玩转 AI!天翼云 Llama 3 大模型学习机来了!
近日,Meta 公司发布了其最新研发成果——开源大模型 Llama 3,共包含 Llama 3 8B 和 Llama 3 70B 两种规格,参数量级分别为 80 亿与 700 亿,并表示这是目前同体量下性能最好的开源模型。相较于前代产品 Llama 2,Llama 3 在预训练数据上扩大了整整 7 倍(达到 15T tokens),并且在数据质量与训练方式上也进行了深度优化,这无疑为开源大型语言模型(LLM)领域发展再次书写了辉煌篇章。
为了方便广大 AI 技术爱好者与从业者快速上手学习与使用大语言模型技术,天翼云基于开源的 Meta-Llama-3-8B-Instruct 模型以及 text-generation-webui 框架, 搭建了一键部署、开箱即用的云主机镜像。同时,天翼云 CPU/GPU 云主机近期即将上线 Llama 3 大模型学习机,期望能够成为帮助用户打开大模型领域之门的第一把钥匙,让更多用户从此了解大模型、学习使用大模型,并利用大模型创造更多可能。
![](https://static001.geekbang.org/infoq/25/25ed987b8355fc204d2432ed3fdad78b.png)
天翼云弹性云主机具备快捷易用、配置丰富、专有网络、安全稳定、多种镜像、高效管理和高性价比等优势,能够为用户提供优质服务体验。云主机支持动态调整计算资源,提供多种实例规格和存储类型,满足用户多元化业务需求;拥有灵活自定义的网络空间,以及多重安全防护,全面保障数据可靠性,助力业务批量快速部署。用户可以通过多种管理方式和多维度监控实现高效管理,并可根据需要灵活选择计费模式,享受专业运营团队的 7*24 小时服务。此外,天翼云还提供多样异构芯片和计算模型,为用户提供更优算力选择。
通过以下步骤,用户即可基于天翼云主机快速搭建 Llama 3 的推理或微调环境:
(1) 登录天翼云主机控制台https://console.ctyun.cn/console/index/#/ecm/ecmList;
(2) 创建云主机, 使用指定的规格与 Llama 3 镜像, 具体可参考部署文档https://www.ctyun.cn/document/10026730/10495072;
(3) 从浏览器登录到学习机页面, 使用 Llama 3 模型。
![](https://static001.geekbang.org/infoq/c4/c4c3da9f2f0dbca5b3c1927cde8d60ee.png)
天翼云 Llama 3 大模型学习机在一键部署的基础上还提供以下各类功能, 戳官网还有更详细的帮助文档和教学视频哦!
(1)模型加载:支持加载主流基于 transformers 框架的模型,只需将模型下载并放置到指定目录下, 无需其他操作,镜像内已预装 Llama 3 模型;
(2)模型推理:支持使用大语言模型进行多轮对话与文本生成,且支持多人同时使用;
(3)推理参数修改:支持修改大语言模型在推理时控制结果走向的 temperature, top_k, top_p 等参数;
(4)模型微调:支持基于基础大模型和私有数据,微调训练自己的 LoRA 小模型,使用小模型进行推理。
访问下方网址解锁更多相关功能!
https://www.ctyun.cn/document/10026730/10495063
通过天翼云大模型学习机
即可实现 Llama 3 的丝滑应用
![](https://static001.geekbang.org/infoq/e7/e78a3882a311898bb7f13bd461b73139.png)
除了目前已发布的两种规格,Meta 公司宣布一个参数量超过 400B 的巨量 Llama 3 也在训练中,并可能会在接下来的几个月内发布。可以预期,Llama 3-400B 将会继续推动大语言模型发展迈上新台阶。
在通用人工智能领域蓬勃发展的今天,天翼云将持续坚持科技创新,为行业用户提供可快速搭建大型模型推理或微调环境的解决方案,以及高性能的 AI 算力集群,助力 AIGC 产业实现降本增效,进而推动整个行业的繁荣发展。
评论