快速玩转 Llama2！阿里云机器学习 PAI 推出最佳实践（三）——快速部署 WebUI

本实践将采用阿里云机器学习平台 PAI-EAS 模块针对 Llama-2-13B-chat 进行部署。PAI-EAS 是模型在线服务平台，支持将模型一键部署为在线推理服务或 AI-Web 应用，具备弹性扩缩的特点，适合需求高性价比模型服务的开发者。

前言

近期，Meta 宣布大语言模型 Llama2 开源，包含 7B、13B、70B 不同尺寸，分别对应 70 亿、130 亿、700 亿参数量，并在每个规格下都有专门适配对话场景的优化模型 Llama-2-Chat。Llama2 可免费用于研究场景和商业用途（但月活超过 7 亿以上的企业需要申请），对企业和开发者来说，提供了大模型研究的最新利器。

目前，Llama-2-Chat 在大多数评测指标上超过了其他开源对话模型，并和一些热门闭源模型（ChatGPT、PaLM）相差不大。阿里云机器学习平台 PAI 第一时间针对 Llama2 系列模型进行适配，推出全量微调、Lora 微调、推理服务等场景最佳实践，助力 AI 开发者快速开箱。以下我们将分别展示具体使用步骤。

【往期最佳实践】：

快速玩转 Llama2！阿里云机器学习 PAI 推出最佳实践（一）——低代码 Lora 微调及部署 https://xie.infoq.cn/article/482d7ebbbcf99526e452b32e4

快速玩转 Llama2！阿里云机器学习 PAI 推出最佳实践（二）——全参数微调训练

https://xie.infoq.cn/article/02a9dedbac71acdceb72bc71f

最佳实践三：Llama2 快速部署 WebUI

一、服务部署

1、进入 PAI-EAS 模型在线服务页面。

1. 登录 PAI 控制台 https://pai.console.aliyun.com/
   

2. 在左侧导航栏单击工作空间列表，在工作空间列表页面中单击待操作的工作空间名称，进入对应工作空间内。

3. 在工作空间页面的左侧导航栏选择模型部署>模型在线服务（EAS） ，进入 PAI EAS 模型在线服务页面。

2、在 PAI EAS 模型在线服务页面，单击部署服务。

3、在部署服务页面，配置以下关键参数。

4、单击部署，等待一段时间即可完成模型部署。

二、启动 WebUI 进行模型推理

1、单击目标服务的服务方式列下的查看 Web 应用。

2、在 WebUI 页面，进行模型推理验证。

在对话框下方的输入界面输入对话内容，例如”请提供一个理财学习计划”，点击发送，即可开始对话。

What's More

1. 本文主要展示了基于阿里云机器学习平台 PAI 快速进行 Llama2 微调及部署工作的实践，主要是面向 7B 和 13B 尺寸的。后续，我们将展示如何基于 PAI 进行 70B 尺寸的 Llama-2-70B 的微调及部署工作，敬请期待。

2. 上述实验中，【最佳实践三：Llama2 快速部署 WebUI】支持免费试用机型运行，欢迎点击【阅读原文】前往阿里云使用中心领取“PAI-EAS”免费试用后前往 PAI 控制台体验。

【领取机器学习PAI免费试用】

【往期最佳实践】：

快速玩转 Llama2！阿里云机器学习 PAI 推出最佳实践（一）——低代码 Lora 微调及部署 https://xie.infoq.cn/article/482d7ebbbcf99526e452b32e4

快速玩转 Llama2！阿里云机器学习 PAI 推出最佳实践（二）——全参数微调训练

https://xie.infoq.cn/article/02a9dedbac71acdceb72bc71f

参考资料：

1. Llama2: Inside the Model https://ai.meta.com/llama/#inside-the-model
   

2. Llama 2 Community License Agreement https://ai.meta.com/resources/models-and-libraries/llama-downloads/
   

3. HuggingFace Open LLM Leaderboard https://huggingface.co/spaces/HuggingFaceH4/open_llm_leaderboard
   

4. 阿里云机器学习平台 PAI：https://www.aliyun.com/product/bigdata/learn
   

特别提示您 Llama2 属于国外公司开发的限制性开源模型，请您务必在使用前仔细阅读并遵守 Llama2 的许可协议，尤其是其限制性许可条款（如月活超过 7 亿以上的企业需申请额外许可）和免责条款等。

此外提醒您务必遵守适用国家的法律法规，若您利用 Llama2 向中国境内公众提供服务，请遵守国家的各项法律法规要求，尤其不得从事或生成危害国家、社会、他人权益等行为和内容。