预训练模型_预训练模型技术文章

预训练模型

0 人感兴趣 · 11 次引用

关注

最新
推荐

https://static001.geekbang.org/infoq/a7/a7ac69cb3a95510019a18fee26aad458.png?x-oss-process=image%2Fresize%2Cw_416%2Ch_234

从稀疏表征出发、召回方向的前沿探索

百度Geek说

03-14

稀疏表征有着精确匹配、索引效率和可解释的优势，最近学术界重新将目光放回稀疏表征架构，研究稀疏表征如何从大规模语言模型中获益。本文将介绍学术界在倒排召回和语义召回的最新进展。

召回预训练模型稀疏矩阵企业号 3 月 PK 榜

https://static001.geekbang.org/infoq/f5/f5bfdb710fb2c799341f22a7ba48dfe1.jpeg?x-oss-process=image%2Fresize%2Cw_416%2Ch_234

大模型落地实践：同花顺大模型技术应用及优化

澜舟孟子开源社区

2022-08-11

众所周知，大模型参数量大，通用能力强，综合性能好，但是在工业界落地上有一些难点。文内从业务角度介绍了大模型技术在同花顺业务上的应用以及未来探索的方向。

人工智能自然语言处理预训练模型

https://static001.geekbang.org/infoq/26/26dfb35caf8c1c55c0f388f5db41ada0.jpeg?x-oss-process=image%2Fresize%2Cw_416%2Ch_234

大模型轻量化实践路径

澜舟孟子开源社区

2022-07-29

本文介绍了大模型轻量化技术背景，并分享了澜舟轻量化技术实践的 5 种路径，包括语言学知识增强、训练优化技术、模型压缩（蒸馏、剪枝和量化）、检索增强、多任务。

人工智能自然语言处理神经网络深度学习预训练模型

https://static001.geekbang.org/infoq/bb/bb20c208319d90a2c9319db547a7cfd6.jpeg?x-oss-process=image%2Fresize%2Cw_416%2Ch_234

2022 年中回顾｜一文看懂预训练模型最新进展

澜舟孟子开源社区

2022-07-25

本文回顾了过去 12 个月以来，国内外大模型的发展趋势，包括百花齐放的国产大模型、新秀不断涌现的多模态模型、萌芽中的通用能力模型等等，并对大模型新应用、预训练框架等方面的进展进行了总结。

人工智能自然语言处理算法 nlp 预训练模型

https://static001.geekbang.org/infoq/44/448efc6a3fd35321e0dbc222239df09a.jpeg?x-oss-process=image%2Fresize%2Cw_416%2Ch_234

OPPO 小布预训练大模型揭秘：可大规模工业化应用的十亿级模型

OPPO小布助手

2022-07-04

在行业对比评测中，OBERT跃居中文语言理解测评基准CLUE1.1总榜第五名、大规模知识图谱问答KgCLUE1.0排行榜第一名。

AI 智能助手预训练模型预训练

https://static001.geekbang.org/infoq/a9/a97615568124ce2a8c777aec3a16f908.png?x-oss-process=image%2Fresize%2Cw_416%2Ch_234

NLP 论文领读｜改善意图识别的语义表示：有监督预训练中的各向同性正则化方法

澜舟孟子开源社区

2022-06-23

意图识别（intent detection）是面向任务对话系统的核心模块，其标注数据较少，所以研究怎样用少量数据训练出一个优秀的意图分类器（few-shot intent detection）有着很高的实用价值。

人工智能自然语言处理深度学习预训练模型

QCon-OPPO 大规模 CV 预训模型技术及实践

安第斯智能云

2022-01-07

cv预练模型是在海量数据上训练好的模型，可以给出主干网络合适的初始化参数代替从头开始训练模型。我们尽可能的探索最优的网络架构，提供鲁棒的cv预训练代替网上的开源模型，助力oppo相关业务提升算法效果。

算法计算机视觉预训练模型

保姆级带你深入阅读 NAS-BERT

华为云开发者联盟

2021-10-19

摘要：本文用权重共享的one-shot的NAS方式对BERT做NAS搜索。

推理预训练模型 BERT NAS论文 NAS搜索

https://static001.geekbang.org/infoq/db/db5f8f0c9fa67582ceea0270a1e8e303.png?x-oss-process=image%2Fresize%2Cw_416%2Ch_234

性能加速最高可达 28 倍！这个 NLP 工具包不容错过

百度开发者中心

2021-10-14

近日，PaddleNLP v2.1正式发布，为开发者带来三项重要更新：开箱即用的工业级NLP预置任务能力Taskflow：八大经典场景一键预测。预训练时代的微调新范式应用：三行代码显著提升小样本学习效果。高性能预测加速：文本生成任务高达28倍加速效果。

预训练模型 NLP 大模型

华为高级研究员谢凌曦：下一代 AI 将走向何方？盘古大模型探路之旅

华为云开发者联盟

2021-07-13

摘要：为了更深入理解千亿参数的盘古大模型，华为云社区采访到了华为云EI盘古团队高级研究员谢凌曦。谢博士以非常通俗的方式为我们娓娓道来了盘古大模型研发的“前世今生”，以及它背后的艰难往事。

深度学习参数预训练模型盘古大模型

30 亿参数，华为云发布全球最大预训练模型，开启工业化 AI 开发新模式

华为云开发者联盟

2021-04-26

摘要： 4月25日，华为云发布盘古系列超大规模预训练模型，包括30亿参数的全球最大视觉（CV）预训练模型，以及与循环智能、鹏城实验室联合开发的千亿参数、40TB训练数据的全球最大中文语言（NLP）预训练模型。后续，华为云还将陆续发布多模态、科学计算等超大

AI nlp 华为云盘古预训练模型

创作场景

预训练模型

推荐作者

推荐标签