法国 mixtral 一种具有开放权重的高质量稀疏专家混合模型

2024-12-12
北京
本文字数：553 字
阅读完需：约 2 分钟

全面解析软件测试开发：人工智能测试、自动化测试、性能测试、测试左移、测试右移到DevOps如何驱动持续交付

Mixtral 是一种具有开放权重的高质量稀疏专家混合模型 (SMoE)。根据 Apache 2.0 许可。Mixtral 在大多数基准测试中都优于 Llama 2 70B，推理速度提高了 6 倍。它是最强大的开放权重模型，具有宽松的许可证，也是成本/性能权衡方面的最佳模型。特别是，它在大多数标准基准测试中匹配或优于 GPT3.5。

Mixtral 的特点

可以优雅地处理 32k 令牌的上下文。
可以处理英语、法语、意大利语、德语和西班牙语。
在代码生成方面表现出强大的性能。

基于 Hugging Face Transformers 使用 mixtral

复制代码

## Use a pipeline as a high-level helperfrom transformers import pipelinedef test_mixtral():    pipe = pipeline("text-generation", model="mistralai/Mixtral-8x7B-Instruct-v0.1")    pipe("请为google编写web自动化测试用例，使用pytest page object设计模式，断言使用hamcrest"))

复制代码

使用 langchain 调用 mixtral

复制代码

def test_mixtral():    llm = Ollama(model="mixtral", base_url="http://localhost:11434")    r = llm.invoke('请为google编写web自动化测试用例，使用pytest page object设计模式，断言使用hamcrest')    debug(r)

复制代码

总结

Mixtral 是一种具有开放权重的高质量稀疏专家混合模型。

发布于: 刚刚阅读数: 5

测吧(北京)科技有限公司

关注

社区：ceshiren.com 微信：ceshiren2023 2022-08-29 加入

微信公众号：霍格沃兹测试开发提供性能测试、自动化测试、测试开发等资料、实事更新一线互联网大厂测试岗位内推需求，共享测试行业动态及资讯，更可零距离接触众多业内大佬

发布

暂无评论

创作场景

法国 mixtral 一种具有开放权重的高质量稀疏专家混合模型

全面解析软件测试开发：人工智能测试、自动化测试、性能测试、测试左移、测试右移到DevOps如何驱动持续交付

Mixtral 的特点

基于 Hugging Face Transformers 使用 mixtral

使用 langchain 调用 mixtral

总结

测吧(北京)科技有限公司

评论