写点什么

预训练

0 人感兴趣 · 4 次引用

  • 最新
  • 推荐
https://static001.geekbang.org/infoq/06/06a68c914a61111537bc981b8aca8889.png?x-oss-process=image/resize,w_416,h_234

详解预训练模型在信息检索第一阶段的应用

用户头像
百度Geek说2021 年 11 月 30 日

近年来,预训练模型在自然语言处理的不同任务中都取得了极大的成功,在信息检索中也进步不小。近期,我们邀请到了中科院的范意兴博士现场分享,内容聚焦预训练模型在信息检索中第一阶段检索(召回阶段)的应用,并对最近几年的相关研究进行系统的梳理和回顾。

论文解读丨 LayoutLM: 面向文档理解的文本与版面预训练

用户头像
华为云开发者社区2021 年 11 月 18 日

​​摘要:LayoutLM模型利用大规模无标注文档数据集进行文本与版面的联合预训练,在多个下游的文档理解任务上取得了领先的结果。

带你了解 3 类预训练语音模型预测方法

用户头像
华为云开发者社区2021 年 10 月 29 日

摘要:在调研多篇论文后,笔者发现预训练语音模型的预测方法基本可以分为以下3类:<1>用前文预测当前及后文(自回归)<2> 随机mask 一些帧并预测 <3> 用两侧上下文预测中间帧。

专家解惑 | 关于华为云盘古大模型,你想问的都在这里~

用户头像
华为云开发者社区2021 年 5 月 6 日

​​摘要: 针对外界对盘古大模型充满了好奇,参与大模型开发的两位华为云专家来为大家答疑解惑。

预训练_预训练资料文章-InfoQ写作平台