写点什么

什么? 20 分钟,构建你自己的 LLaMA3 应用程序| 京东云技术团队

  • 2024-05-13
    北京
  • 本文字数:1356 字

    阅读完需:约 4 分钟

4 月 19 日,Meta 发布了最新的大语言模型 LLaMA3,具体包括一个 8B 模型和一个 70 B 模型,上下文长度支持 8K, 被誉为史上最强开源大语言模型,开源社区的“重磅炸弹”,效果直指 GTP4。在诸多评测任务上,LLaMA3 都有非常炸裂的效果。 8B 模型在多项指标中超越了 Gemma 7B 和 Mistral 7B Instruct,而 70B 模型则超越了闭源的 Claude 3 Sonnet,和 Gemini Pro 1.5。具体的评测报告可以参见:https://github.com/meta-llama/llama3/blob/main/eval_details.md


由于 Llama 3 选择了相对标准的纯解码器 Transformer 架构,根据各方信息推测,性能提升主要来自数据质量的提升。一是使用了 15T 的预训练数据,相比 Llama 2 提高了 7 倍,并且大幅提高了代码的使用量,以增强模型的推理能力。二是使用了词汇量为 128K 的标记器,相比 Llama 2 使用的 32K 标记器,改善了标记化的粒度。另外,在 8B 和 70B 大小的模型上采用了分组查询注意力 (GQA),提高了 Llama 3 的推理效率。

开源社区对此反响强烈,短短 5 天,Hugging Face 上已经有了 1000 多个变种,而且数字还在持续增长。


面对 AI 行业一波又一波的巨大事件,我们在赞美和焦虑之外,能做点什么呢?虽说不上躬身入局,但总想让稍微感受一下 AI 巨浪带来的点点涟漪。不是有句老话说得好么,不是 AI 取代人类,而是懂 AI 的人取代不懂 AI 的人。

于是我用百度找到了 LLaMA3 的体验地址:https://www.meta.ai/。但当我在浏览器输入并等待了 10 分钟后,我放弃了..... 网络问题,无情的阻碍了我进步的脚步。 我再次打开百度,想试试能不能在本地安装一个 LLaMA3,但当我看到 60G 的模型大小,以及昂贵的 GPU 算力,以及各种程序报错时,我又一次知难而退了。是坚持,还是放弃,这是个问题。。。。。


直到,我在京东云上看到了这个产品.....

什么? 20 分钟,构建你自己的 LLaMA3 应用程序!

于是,我打开手机计时器,开始了我寻找 AI 浪花之旅

第一步,进入京东智算服务控制台:https://gcs-console.jdcloud.com/instance/list

第二步,点击创建按钮购买 GPU 实例,注意计费方式一定选择 “按配置” ,就是按使用时长进行计费,一个小时才 1.89,充值 2 块钱,就能玩 2 个小时,真是良心。 点击“立即购买”下单。

第三步,在实例列表页面,等待实例状态变为“运行中”,然后点击 Jupyter 进入 AI 的开发环境。


第四步,在 Jupyter 页面中,点击进入 Terminal 终端,执行如下命令:

 
复制代码


cp -r /gcs-pub/llama-factory/ /data/
复制代码



第五步:在左侧的目录树中,找到 llama-factory/src/web_demo.py 文件,双击打开,然后把 server_port 修改为 28888,Ctrl+S 保存这个修改。


第六步:再次打开刚才的终端,分别执行下面几行命令:

 
复制代码


cd /data/llama-factory conda create -n liandan python=3.10 -yconda activate liandanpip install -e .[metrics]CUDA_VISIBLE_DEVICES=0 python src/web_demo.py --model_name_or_path /gcs-pub/Meta-Llama-3-8B-Instruct --template llama3
复制代码

这个平台的特点是速度特别快,比其他平台都快,几分钟后,我看到了胜利的曙光...


第七步: 在控制台实例列表页面(https://gcs-console.jdcloud.com/instance/list),点击该实例的最后一栏,操作-应用-自定义应用,于是乎,LLaMA3 就显出了原型。


听说这个平台还能无代码直接启动文生图应用,等下次我再试试吧,现在要迫不及待的开始调戏 LLaMA3 啦,完美!


作者:京东科技 彭建宏

来源:京东云开发者社区

发布于: 刚刚阅读数: 3
用户头像

拥抱技术,与开发者携手创造未来! 2018-11-20 加入

我们将持续为人工智能、大数据、云计算、物联网等相关领域的开发者,提供技术干货、行业技术内容、技术落地实践等文章内容。京东云开发者社区官方网站【https://developer.jdcloud.com/】,欢迎大家来玩

评论

发布
暂无评论
什么? 20分钟,构建你自己的LLaMA3应用程序| 京东云技术团队_京东科技开发者_InfoQ写作社区