人工智能 | Hugging Face 的应用
大纲
Hugging-Face 介绍
Hugging-Face 大语言模型 LLM 管理
Transformers 机器学习框架
文本生成推理 (TGI)
Hugging Face
Hugging-Face -- 大语言模型界的 Github
Hugging Face 专门开发用于构建机器学习应用的工具。该公司的代表产品是其为自然语言处理应用构建的 transformers 库,以及允许用户共享机器学习模型和数据集的平台
![](https://static001.geekbang.org/infoq/be/be58b1d7f51795e257f4e6219ebfb3b4.jpeg?x-oss-process=image%2Fresize%2Cp_80%2Fauto-orient%2C1)
大模型平台 hugging face
![](https://static001.geekbang.org/infoq/8f/8fe74c7ee214e2409853507fc02ca66c.png)
![](https://static001.geekbang.org/infoq/7c/7c0e18f33cf0fca3619d5d95f069a362.png)
![](https://static001.geekbang.org/infoq/4e/4ed8001a3ce039daac789c918691beba.png)
国内对标 -- 百度千帆
百度智能云千帆大模型平台(以下简称千帆或千帆大模型平台)是面向企业开发者的一站式大模型开发及服务运行平台。千帆不仅提供了包括文心一言底层模型和第三方开源大模型,还提供了各种 AI 开发工具和整套开发环境,方便客户轻松使用和开发大模型应用。支持数据管理、自动化模型 SFT 以及推理服务云端部署的一站式大模型定制服务,助力各行业的生成式 AI 应用需求落地。
![](https://static001.geekbang.org/infoq/af/af9bbc79375c526bac589b0eff629be0.png)
国内对标 -- 魔搭社区
![](https://static001.geekbang.org/infoq/98/98816e3448644ab0293340d3abdd8413.png)
ModelScope 社区成立于 2022 年 6 月,是一个模型开源社区及创新平台,由阿里巴巴通义实验室(Institute for Intelligent Computing),联合 CCF 开源发展委员会,共同作为项目发起方。社区联合国内 AI 领域合作伙伴与高校机构, 致力于通过开放的社区合作,构建深度学习相关的模型开源社区,并开放相关模型创新技术,推动基于“模型即服务”(Model-as-a-Service)理念的模型应用生态的繁荣发展。
Hugging Face 是行业风向标
开发者仓库 Hub
机器学习模型 Hub
数据集 Hub
机器学习算法库与封装工具
解决方案
文档
大语言模型管理
通过 Git 下载大模型
![](https://static001.geekbang.org/infoq/06/06e93673322a25099d24bce284429c53.png)
客户端工具 huggingface_hub
高速下载
huggingface-cli 用法
使用示例
使用 Hub client library 管理
hugging face 的本地缓存文件结构
hugging face transformers 机器学习框架
Transformers 库
Transformers 是一个预训练的最先进模型库,用于自然语言处理 (NLP)、计算机视觉以及音频和语音处理任务。该库不仅包含 Transformer 模型,还包含非 Transformer 模型,例如用于计算机视觉任务的现代卷积网络。Transformers 提供 API 和工具,可轻松下载和训练最先进的预训练模型,它支持 PyTorch、TensorFlow 和 JAX 之间的框架互操作性。
![](https://static001.geekbang.org/infoq/d8/d8e70a2d49b8b96f34ac283e304f763f.png)
Transformers 能力
自然语言处理:文本分类、命名实体识别、问答、语言建模、摘要、翻译、多项选择和文本生成。
计算机视觉:图像分类、对象检测和分割。
音频:自动语音识别和音频分类。
多模态:表格问答、光学字符识别、扫描文档信息提取、视频分类和视觉问答。
![](https://static001.geekbang.org/infoq/9e/9e6448b137ff9ac6fa1efa2e2d90c711.png)
![](https://static001.geekbang.org/infoq/79/794c5da9aa1dad4a1c925bf9f65fa307.png)
![](https://static001.geekbang.org/infoq/7e/7e8affe4d7185bd65e89550fa222eeee.png)
![](https://static001.geekbang.org/infoq/eb/eb8bb70e9371f953acd326222d982ecc.png)
![](https://static001.geekbang.org/infoq/1a/1ad21eb03aeb6fa1d1dbe0bf15e44663.png)
快速开始
使用第三方库
图像识别
![](https://static001.geekbang.org/infoq/da/dad78c4fa3e80a2a72bdca0dddb39bc2.jpeg?x-oss-process=image%2Fresize%2Cp_80%2Fauto-orient%2C1)
文本生成推理 Text Generation Inference
Text Generation Inference
文本生成推理 (TGI) 是一个用于部署和服务大型语言模型 (LLM) 的工具包。TGI 为最流行的开源 LLM 提供高性能文本生成,包括 Llama、Falcon、StarCoder、BLOOM、GPT-NeoX 和 T5。
![](https://static001.geekbang.org/infoq/a7/a7cdd10617cbead68ef499b844a039fa.png)
TGI 接口
编程使用 TGI
软件测试开发免费视频教程分享
![](https://static001.geekbang.org/infoq/78/78424a9611223386368d8e88cd65c4ce.png)
版权声明: 本文为 InfoQ 作者【测试人】的原创文章。
原文链接:【http://xie.infoq.cn/article/7fa3bd8ae851b3725f0ad9c3c】。文章转载请联系作者。
评论