预训练_预训练技术文章

预训练

0 人感兴趣 · 5 次引用

关注

2022-07-04

在行业对比评测中，OBERT跃居中文语言理解测评基准CLUE1.1总榜第五名、大规模知识图谱问答KgCLUE1.0排行榜第一名。

2021-11-30

近年来，预训练模型在自然语言处理的不同任务中都取得了极大的成功，在信息检索中也进步不小。近期，我们邀请到了中科院的范意兴博士现场分享，内容聚焦预训练模型在信息检索中第一阶段检索（召回阶段）的应用，并对最近几年的相关研究进行系统的梳理和回顾。

2021-11-18

摘要：LayoutLM模型利用大规模无标注文档数据集进行文本与版面的联合预训练，在多个下游的文档理解任务上取得了领先的结果。

2021-10-29

摘要：在调研多篇论文后，笔者发现预训练语音模型的预测方法基本可以分为以下3类：<1>用前文预测当前及后文（自回归）<2> 随机mask 一些帧并预测 <3> 用两侧上下文预测中间帧。

2021-05-06

摘要：针对外界对盘古大模型充满了好奇，参与大模型开发的两位华为云专家来为大家答疑解惑。