写点什么

预训练

0 人感兴趣 · 5 次引用

  • 最新
  • 推荐
https://static001.geekbang.org/infoq/44/448efc6a3fd35321e0dbc222239df09a.jpeg?x-oss-process=image%2Fresize%2Cw_416%2Ch_234

OPPO 小布预训练大模型揭秘:可大规模工业化应用的十亿级模型

在行业对比评测中,OBERT跃居中文语言理解测评基准CLUE1.1总榜第五名、大规模知识图谱问答KgCLUE1.0排行榜第一名。

https://static001.geekbang.org/infoq/06/06a68c914a61111537bc981b8aca8889.png?x-oss-process=image%2Fresize%2Cw_416%2Ch_234

详解预训练模型在信息检索第一阶段的应用

用户头像
百度Geek说
2021-11-30

近年来,预训练模型在自然语言处理的不同任务中都取得了极大的成功,在信息检索中也进步不小。近期,我们邀请到了中科院的范意兴博士现场分享,内容聚焦预训练模型在信息检索中第一阶段检索(召回阶段)的应用,并对最近几年的相关研究进行系统的梳理和回顾。

论文解读丨 LayoutLM: 面向文档理解的文本与版面预训练

​​摘要:LayoutLM模型利用大规模无标注文档数据集进行文本与版面的联合预训练,在多个下游的文档理解任务上取得了领先的结果。

带你了解 3 类预训练语音模型预测方法

摘要:在调研多篇论文后,笔者发现预训练语音模型的预测方法基本可以分为以下3类:<1>用前文预测当前及后文(自回归)<2> 随机mask 一些帧并预测 <3> 用两侧上下文预测中间帧。

专家解惑 | 关于华为云盘古大模型,你想问的都在这里~

​​摘要: 针对外界对盘古大模型充满了好奇,参与大模型开发的两位华为云专家来为大家答疑解惑。

预训练_预训练技术文章_InfoQ写作社区