meta llama 大模型一个基础语言模型的集合

2024-12-13
北京
本文字数：2375 字
阅读完需：约 8 分钟

全面解析软件测试开发：人工智能测试、自动化测试、性能测试、测试左移、测试右移到DevOps如何驱动持续交付

LLaMA 是一个基础语言模型的集合，参数范围从 7B 到 65B。我们在数万亿个 Token 上训练我们的模型，并表明可以专门使用公开可用的数据集来训练最先进的模型，而无需诉诸专有的和无法访问的数据集。特别是，LLaMA-13B 在大多数基准测试中都优于 GPT-3 (175B)，

llama2 大模型介绍

我们开发并发布了 Llama 2，这是一组经过预训练和微调的大型语言模型 (LLM)，其参数规模从 70 亿到 700 亿不等。我们经过微调的大语言模型（称为 Llama 2-Chat）针对对话用例进行了优化。我们的模型在我们测试的大多数基准上都优于开源聊天模型，并且根据我们对有用性和安全性的人工评估，可能是闭源模型的合适替代品

llama 大语言模型提供的主要模型列表

Code Llama 模型

Code Llama 是一个基于 Llama 2 的大型代码语言模型系列，在开放模型、填充功能、对大输入上下文的支持以及编程任务的零样本指令跟踪能力中提供最先进的性能。

我们提供多种风格来覆盖广泛的应用程序：基础模型 (Code Llama)、Python 专业化 (Code Llama - Python) 和指令跟随模型 (Code Llama - Instruct)，每个模型都有 7B、13B 和 34B 参数。

所有模型均在 16k 个标记序列上进行训练，并在最多 100k 个标记的输入上显示出改进。7B 和 13B Code Llama 和 Code Llama - 指令变体支持基于周围内容的填充。

Code Llama 是通过使用更高的代码采样对 Llama 2 进行微调而开发的。与 Llama 2 一样，我们对模型的微调版本应用了大量的安全缓解措施。有关模型训练、架构和参数、评估、负责任的人工智能和安全性的详细信息，请参阅我们的研究论文。

Llama 材料（包括 Code Llama）的代码生成功能生成的输出可能受第三方许可的约束，包括但不限于开源许可。

Code Llama 提供的主要模型列表

申请模型

申请地址 https://ai.meta.com/resources/models-and-libraries/llama-downloads/

申请通过后，在 hugging face 上如果邮箱一致，会提示已经授权

使用模型

使用官方的 Api
使用第三方封装 Api llama.cpp-python ollama
使用 langchain
使用 hugging face 的 transformers

llama

https://github.com/facebookresearch/llama

torchrun --nproc_per_node 1 example_text_completion.py \    --ckpt_dir llama-2-7b/ \    --tokenizer_path tokenizer.model \    --max_seq_len 128 --max_batch_size 4

复制代码

NCCL 错误

RuntimeError: Distributed package doesn't have NCCL built in

windows 和 mac 上基本跑不起来，因为 torchrun 依赖 NCCL

https://pytorch.org/docs/stable/distributed.html

llama.cpp

https://github.com/ggerganov/llama.cpp

Port of Facebook's LLaMA model in C/C++

因为很多同学受限于个人电脑的环境，没法运行完整的 llama 模型。llama.cpp 提供了一个非常好的移植版本，可以降低电脑的硬件要求，方便个人电脑运行与测试。

下载

git clone https://github.com/ggerganov/llama.cpp.gitcd llama.cppmake

复制代码

模型转换

通过对模型进行转化，可以降低资源消耗。

# obtain the original LLaMA model weights and place them in ./modelsls ./models65B 30B 13B 7B tokenizer_checklist.chk tokenizer.model  # [Optional] for models using BPE tokenizers  ls ./models  65B 30B 13B 7B vocab.json# install Python dependenciespython3 -m pip install -r requirements.txt# convert the 7B model to ggml FP16 formatpython3 convert.py models/7B/  # [Optional] for models using BPE tokenizers  python convert.py models/7B/ --vocabtype bpe# quantize the model to 4-bits (using q4_0 method)./quantize ./models/7B/ggml-model-f16.gguf ./models/7B/ggml-model-q4_0.gguf q4_0# update the gguf filetype to current if older version is unsupported by another application./quantize ./models/7B/ggml-model-q4_0.gguf ./models/7B/ggml-model-q4_0-v2.gguf COPY
# run the inference./main -m ./models/7B/ggml-model-q4_0.gguf -n 128

复制代码

此步可以省略，直接下载别人转换好的量化模型即可。https://huggingface.co/TheBloke/Llama-2-7b-Chat-GGUF

运行

命令行交互模式

./main -m ./models/llama-2-7b.Q4_0.gguf -i   -n 256 --color

复制代码

开启 server 模式，访问 http://127.0.0.1:8080/

./server -m ./models/llama-2-7b.Q4_0.gguf

复制代码

llama-cpp-python

https://github.com/abetlen/llama-cpp-python

pip install llama-cpp-python

复制代码

mac m1 上构建的时候需要加上特殊的参数

CMAKE_ARGS="-DLLAMA_METAL=on -DCMAKE_OSX_ARCHITECTURES=arm64" FORCE_CMAKE=1 pip install -U llama-cpp-python --no-cache-dir --force-reinstall

复制代码

启动 Api 模式

pip install llama-cpp-python[server]python  -m llama_cpp.server --model models/llama-2-7b.Q4_0.ggufpython  -m llama_cpp.server --model models/llama-2-7b.Q4_0.gguf --n_gpu_layers 1

复制代码

访问 http://localhost:8000/docs 可以看到 api 的文档，与 openai 兼容。

ollama

官网 https://ollama.ai/
github https://github.com/jmorganca/ollama
docker https://ollama.ai/blog/ollama-is-now-available-as-an-official-docker-image

(base) hogwarts: ~ seveniruby$ ollama serve codellama:7b2023/10/08 02:31:04 images.go:987: total blobs: 62023/10/08 02:31:04 images.go:994: total unused blobs removed: 02023/10/08 02:31:04 routes.go:535: Listening on 127.0.0.1:11434

复制代码

api 文档 https://github.com/jmorganca/ollama/blob/main/docs/api.md

发布于: 刚刚阅读数: 6

测吧(北京)科技有限公司

关注

社区：ceshiren.com 微信：ceshiren2023 2022-08-29 加入

微信公众号：霍格沃兹测试开发提供性能测试、自动化测试、测试开发等资料、实事更新一线互联网大厂测试岗位内推需求，共享测试行业动态及资讯，更可零距离接触众多业内大佬

发布

暂无评论

创作场景

meta llama 大模型一个基础语言模型的集合

全面解析软件测试开发：人工智能测试、自动化测试、性能测试、测试左移、测试右移到DevOps如何驱动持续交付

llama2 大模型介绍

相关网址

llama 大语言模型提供的主要模型列表

Code Llama 模型

Code Llama 提供的主要模型列表

申请模型

使用模型

llama

NCCL 错误

llama.cpp

下载

模型转换

运行

llama-cpp-python

ollama

测吧(北京)科技有限公司

评论