什么？ 20 分钟，构建你自己的 LLaMA3 应用程序| 京东云技术团队

2024-05-13
北京
本文字数：1356 字
阅读完需：约 4 分钟

4 月 19 日，Meta 发布了最新的大语言模型 LLaMA3，具体包括一个 8B 模型和一个 70 B 模型，上下文长度支持 8K，被誉为史上最强开源大语言模型，开源社区的“重磅炸弹”，效果直指 GTP4。在诸多评测任务上，LLaMA3 都有非常炸裂的效果。 8B 模型在多项指标中超越了 Gemma 7B 和 Mistral 7B Instruct，而 70B 模型则超越了闭源的 Claude 3 Sonnet，和 Gemini Pro 1.5。具体的评测报告可以参见：https://github.com/meta-llama/llama3/blob/main/eval_details.md

由于 Llama 3 选择了相对标准的纯解码器 Transformer 架构，根据各方信息推测，性能提升主要来自数据质量的提升。一是使用了 15T 的预训练数据，相比 Llama 2 提高了 7 倍，并且大幅提高了代码的使用量，以增强模型的推理能力。二是使用了词汇量为 128K 的标记器，相比 Llama 2 使用的 32K 标记器，改善了标记化的粒度。另外，在 8B 和 70B 大小的模型上采用了分组查询注意力 (GQA)，提高了 Llama 3 的推理效率。

开源社区对此反响强烈，短短 5 天，Hugging Face 上已经有了 1000 多个变种，而且数字还在持续增长。

面对 AI 行业一波又一波的巨大事件，我们在赞美和焦虑之外，能做点什么呢？虽说不上躬身入局，但总想让稍微感受一下 AI 巨浪带来的点点涟漪。不是有句老话说得好么，不是 AI 取代人类，而是懂 AI 的人取代不懂 AI 的人。

于是我用百度找到了 LLaMA3 的体验地址：https://www.meta.ai/。但当我在浏览器输入并等待了 10 分钟后，我放弃了..... 网络问题，无情的阻碍了我进步的脚步。我再次打开百度，想试试能不能在本地安装一个 LLaMA3，但当我看到 60G 的模型大小，以及昂贵的 GPU 算力，以及各种程序报错时，我又一次知难而退了。是坚持，还是放弃，这是个问题。。。。。

直到，我在京东云上看到了这个产品.....

什么？ 20 分钟，构建你自己的 LLaMA3 应用程序！

于是，我打开手机计时器，开始了我寻找 AI 浪花之旅

第一步，进入京东智算服务控制台：https://gcs-console.jdcloud.com/instance/list

第二步，点击创建按钮购买 GPU 实例，注意计费方式一定选择 “按配置” ，就是按使用时长进行计费，一个小时才 1.89，充值 2 块钱，就能玩 2 个小时，真是良心。点击“立即购买”下单。

第三步，在实例列表页面，等待实例状态变为“运行中”，然后点击 Jupyter 进入 AI 的开发环境。

第四步，在 Jupyter 页面中，点击进入 Terminal 终端，执行如下命令：

复制代码

cp -r /gcs-pub/llama-factory/ /data/

复制代码

第五步：在左侧的目录树中，找到 llama-factory/src/web_demo.py 文件，双击打开，然后把 server_port 修改为 28888，Ctrl+S 保存这个修改。

第六步：再次打开刚才的终端，分别执行下面几行命令：

复制代码

cd /data/llama-factory conda create -n liandan python=3.10 -yconda activate liandanpip install -e .[metrics]CUDA_VISIBLE_DEVICES=0 python src/web_demo.py --model_name_or_path /gcs-pub/Meta-Llama-3-8B-Instruct --template llama3

复制代码

这个平台的特点是速度特别快，比其他平台都快，几分钟后，我看到了胜利的曙光...