预训练模型_预训练模型技术文章

预训练模型

0 人感兴趣 · 5 次引用

关注

1 月 7 日

cv预练模型是在海量数据上训练好的模型，可以给出主干网络合适的初始化参数代替从头开始训练模型。我们尽可能的探索最优的网络架构，提供鲁棒的cv预训练代替网上的开源模型，助力oppo相关业务提升算法效果。

2021 年 10 月 19 日

摘要：本文用权重共享的one-shot的NAS方式对BERT做NAS搜索。

2021 年 10 月 14 日

近日，PaddleNLP v2.1正式发布，为开发者带来三项重要更新：开箱即用的工业级NLP预置任务能力Taskflow：八大经典场景一键预测。预训练时代的微调新范式应用：三行代码显著提升小样本学习效果。高性能预测加速：文本生成任务高达28倍加速效果。

2021 年 7 月 13 日

摘要：为了更深入理解千亿参数的盘古大模型，华为云社区采访到了华为云EI盘古团队高级研究员谢凌曦。谢博士以非常通俗的方式为我们娓娓道来了盘古大模型研发的“前世今生”，以及它背后的艰难往事。

2021 年 4 月 26 日

摘要： 4月25日，华为云发布盘古系列超大规模预训练模型，包括30亿参数的全球最大视觉（CV）预训练模型，以及与循环智能、鹏城实验室联合开发的千亿参数、40TB训练数据的全球最大中文语言（NLP）预训练模型。后续，华为云还将陆续发布多模态、科学计算等超大