一键部署，玩转 AI！天翼云 Llama 3 大模型学习机来了！

近日，Meta 公司发布了其最新研发成果——开源大模型 Llama 3，共包含 Llama 3 8B 和 Llama 3 70B 两种规格，参数量级分别为 80 亿与 700 亿，并表示这是目前同体量下性能最好的开源模型。相较于前代产品 Llama 2，Llama 3 在预训练数据上扩大了整整 7 倍（达到 15T tokens），并且在数据质量与训练方式上也进行了深度优化，这无疑为开源大型语言模型（LLM）领域发展再次书写了辉煌篇章。

为了方便广大 AI 技术爱好者与从业者快速上手学习与使用大语言模型技术，天翼云基于开源的 Meta-Llama-3-8B-Instruct 模型以及 text-generation-webui 框架, 搭建了一键部署、开箱即用的云主机镜像。同时，天翼云 CPU/GPU 云主机近期即将上线 Llama 3 大模型学习机，期望能够成为帮助用户打开大模型领域之门的第一把钥匙，让更多用户从此了解大模型、学习使用大模型，并利用大模型创造更多可能。

天翼云弹性云主机具备快捷易用、配置丰富、专有网络、安全稳定、多种镜像、高效管理和高性价比等优势，能够为用户提供优质服务体验。云主机支持动态调整计算资源，提供多种实例规格和存储类型，满足用户多元化业务需求；拥有灵活自定义的网络空间，以及多重安全防护，全面保障数据可靠性，助力业务批量快速部署。用户可以通过多种管理方式和多维度监控实现高效管理，并可根据需要灵活选择计费模式，享受专业运营团队的 7*24 小时服务。此外，天翼云还提供多样异构芯片和计算模型，为用户提供更优算力选择。

通过以下步骤，用户即可基于天翼云主机快速搭建 Llama 3 的推理或微调环境：

(1) 登录天翼云主机控制台https://console.ctyun.cn/console/index/#/ecm/ecmList；

(2) 创建云主机, 使用指定的规格与 Llama 3 镜像, 具体可参考部署文档https://www.ctyun.cn/document/10026730/10495072；

(3) 从浏览器登录到学习机页面, 使用 Llama 3 模型。

天翼云 Llama 3 大模型学习机在一键部署的基础上还提供以下各类功能, 戳官网还有更详细的帮助文档和教学视频哦！

(1)模型加载：支持加载主流基于 transformers 框架的模型，只需将模型下载并放置到指定目录下, 无需其他操作，镜像内已预装 Llama 3 模型；

(2)模型推理：支持使用大语言模型进行多轮对话与文本生成，且支持多人同时使用；

(3)推理参数修改：支持修改大语言模型在推理时控制结果走向的 temperature, top_k, top_p 等参数；

(4)模型微调：支持基于基础大模型和私有数据，微调训练自己的 LoRA 小模型，使用小模型进行推理。

访问下方网址解锁更多相关功能！

https://www.ctyun.cn/document/10026730/10495063

通过天翼云大模型学习机

即可实现 Llama 3 的丝滑应用

除了目前已发布的两种规格，Meta 公司宣布一个参数量超过 400B 的巨量 Llama 3 也在训练中，并可能会在接下来的几个月内发布。可以预期，Llama 3-400B 将会继续推动大语言模型发展迈上新台阶。

在通用人工智能领域蓬勃发展的今天，天翼云将持续坚持科技创新，为行业用户提供可快速搭建大型模型推理或微调环境的解决方案，以及高性能的 AI 算力集群，助力 AIGC 产业实现降本增效，进而推动整个行业的繁荣发展。