EasyNLP 集成 K-Global Pointer 算法，支持中文信息抽取

作者：周纪咏、汪诚愚、严俊冰、黄俊

导读

信息抽取的三大任务是命名实体识别、关系抽取、事件抽取。命名实体识别是指识别文本中具有特定意义的实体，包括人名、地名、机构名、专有名词等；关系抽取是指识别文本中实体之间的关系；事件抽取是指识别文本中的事件信息并以结构化的形式呈现出来。信息抽取技术被广泛应用于知识图谱的构建、机器阅读理解、智能问答和信息检索系统中。信息抽取的三大任务不是相互独立的关系，而是相互依存、彼此依赖的关系。命名实体识别是关系抽取、事件抽取的基础，关系抽取是事件抽取的基础。同时，关系抽取、事件抽取对命名实体识别任务有帮助，事件抽取对关系抽取任务有帮助。但目前关于仅使用一个模型完成中文信息抽取三大任务的研究相对较少，因此，我们提出 K-Global Pointer 算法并集成进 EasyNLP 算法框架中，使用户可以使用自定义数据集训练中文信息抽取模型并使用。

EasyNLP（https://github.com/alibaba/EasyNLP）是阿⾥云机器学习 PAI 团队基于 PyTorch 开发的简单易⽤且功能丰富的中⽂NLP 算法框架，⽀持常⽤的中⽂预训练模型和⼤模型落地技术，并且提供了从训练到部署的⼀站式 NLP 开发体验。EasyNLP 提供了简洁的接⼝供⽤户开发 NLP 模型，包括 NLP 应⽤AppZoo 和预训练 ModelZoo，同时提供技术帮助⽤户⾼效的落地超⼤预训练模型到业务。由于跨模态理解需求的不断增加，EasyNLP 也⽀持各种跨模态模型，特别是中⽂领域的跨模态模型，推向开源社区，希望能够服务更多的 NLP 和多模态算法开发者和研究者，也希望和社区⼀起推动 NLP/多模态技术的发展和模型落地。

本⽂简要介绍 K-Global Pointer 的技术解读，以及如何在 EasyNLP 框架中使⽤K-Global Pointer 模型。

K-Global Pointer 模型详解

Global Pointer 模型是由苏剑林提出的解决命名实体识别任务的模型，$n\ast n$ 的矩阵 $A$（$n$为序列长度），$A[i,j]$代表的是序列$i$到序列$j$组成的连续子串为对应实体类型的概率，通过设计门槛值$B$即可将文本中具有特定意义的实体识别出来。

K-Global Pointer 模型是在 Global Pointer 模型的基础之上改进的。首先我们将仅支持命名实体识别的模型拓展成支持中文信息抽取三大任务的模型。然后，我们使用了 MacBERT 预训练语言模型来将文本序列转换成向量序列。最后我们针对不同的任务设计了一套 prompt 模板，其能帮助预训练语言模型“回忆”起自己在预训练时“学习”到的内容。接下来，我们将根据中文信息抽取三大任务分别进行阐述。

针对命名实体识别任务，我们有文本$w_1,w_2,w_3,...,w_n$以及需要提取的实体类型 entity_type，对应的 prompt 为“找到文章中所有【entity_type】类型的实体？”，对应的输入模型的文本$H$为“找到文章中所有【entity_type】类型的实体？文章：【$w_1,w_2,w_3,...,w_n$】”，模型经过相应的处理即可输出文本中实体类型为 entity_type 的实体。

针对关系抽取任务，我们有文本$w_1,w_2,w_3,...,w_n$以及需要提取的关系类型 relation_type（subject_type-predicate-object_type），分为两步。第一步，对应的 prompt 为“找到文章中所有【subject_type】类型的实体？”，对应的输入模型的文本$H$为“找到文章中所有【subject_type】类型的实体？文章：【$w_1,w_2,w_3,...,w_n$】”，模型经过相应的处理即可输出文本中实体类型为 subject_type 的实体$e_1$。第二步，对应的 prompt 为“找到文章中所有【$e_1$】的【$predicate$】？”，对应的输入模型的文本$H$为“找到文章中所有【$e_1$】的【$predicate$】？文章：【$w_1,w_2,w_3,...,w_n$】”，模型经过相应的处理即可输出实体$e_2$。即可构成关系三元组($e_1、predicate、e_2$)。

针对事件抽取任务，我们有文本$w_1,w_2,w_3,...,w_n$以及需要提取的事件类型$class$，每个$class$包含 event_type 以及 role_list(r_{1},r_{2},...)，分为两步。第一步，对应的 prompt 为“找到文章中所有【event_type】类型的实体？”，对应的输入模型的文本$H$为“找到文章中所有【event_type】类型的实体？文章：【$w_1,w_2,w_3,...,w_n$】”，模型经过相应的处理即可输出的实体$e$。第二步，针对 role_list 中不同的$r_x$，对应的 prompt 为“找到文章中所有【$e$】的【$r_x$】？”，对应的输入模型的文本$H$为“找到文章中所有【$e$】的【$r_x$】？文章：【$w_1,w_2,w_3,...,w_n$】”，模型经过相应的处理即可输出实体$e_x$。即可构成事件{event_type:$e$,role_list:{r_{1}:e_{1},r_{2}:e_{2},...}}。

K-Global Pointer 模型的实现与效果

在 EasyNLP 框架中，我们在模型层构建了 K-Global Pointer 模型的 Backbone，其核⼼代码如下所示：

self.config = AutoConfig.from_pretrained(pretrained_model_name_or_path)self.backbone = AutoModel.from_pretrained(pretrained_model_name_or_path)self.dense_1 = nn.Linear(self.hidden_size, self.inner_dim * 2)self.dense_2 = nn.Linear(self.hidden_size, self.ent_type_size * 2)
context_outputs = self.backbone(input_ids, attention_mask, token_type_ids)outputs = self.dense_1(context_outputs.last_hidden_state)qw, kw = outputs[..., ::2], outputs[..., 1::2]
pos = SinusoidalPositionEmbedding(self.inner_dim, 'zero')(outputs)cos_pos = pos[..., 1::2].repeat_interleave(2, dim=-1)sin_pos = pos[..., ::2].repeat_interleave(2, dim=-1)qw2 = torch.stack([-qw[..., 1::2], qw[..., ::2]], 3)qw2 = torch.reshape(qw2, qw.shape)qw = qw * cos_pos + qw2 * sin_poskw2 = torch.stack([-kw[..., 1::2], kw[..., ::2]], 3)kw2 = torch.reshape(kw2, kw.shape)kw = kw * cos_pos + kw2 * sin_pos
logits = torch.einsum('bmd,bnd->bmn', qw, kw) / self.inner_dim ** 0.5bias = torch.einsum('bnh->bhn', self.dense_2(last_hidden_state)) / 2logits = logits[:, None] + bias[:, ::2, None] + bias[:, 1::2, :, None]        mask = torch.triu(attention_mask.unsqueeze(2) * attention_mask.unsqueeze(1))y_pred = logits - (1-mask.unsqueeze(1))*1e12y_true = label_ids.view(input_ids.shape[0] * self.ent_type_size, -1)y_pred = y_pred.view(input_ids.shape[0] * self.ent_type_size, -1)loss = multilabel_categorical_crossentropy(y_pred, y_true)

为了验证 EasyNLP 框架中 K-Global Pointer 模型的有效性，我们使用 DuEE1.0、DuIE2.0、CMeEE-V2、CLUENER2020、CMeIE、MSRA、People's_Daily 7 个数据集联合进行训练，并在各个数据集上分别进行验证。其中 CMeEE-V2、CLUENER2020、MSRA、People's_Daily 数据集适用于命名实体识别任务，DuIE2.0、CMeIE 数据集适用于关系抽取任务，DuEE1.0 数据集适用于事件抽取任务。结果如下所示：

可以通过上述结果，验证 EasyNLP 框架中 K-Global Pointer 算法实现的正确性、有效性。

K-Global Pointer 模型使用教程

以下我们简要介绍如何在 EasyNLP 框架使⽤K-Global Pointer 模型。分为三种情况，分别是①用户使用数据训练模型②用户验证训练好的模型③用户使用训练好的模型完成中文信息抽取任务。我们提供了联合 DuEE1.0、DuIE2.0、CMeEE-V2、CLUENER2020、CMeIE、MSRA、People's_Daily 7 个数据集的数据，可以通过 sh run_train_eval_predict_user_defined_local.sh 来下载获取 train.tsv、dev.tsv、predict_input_EE.tsv、predict_input_NER.tsv 文件，其中 train.tsv 文件可用于训练、dev.tsv 文件可用于验证、predict_input_EE.tsv、predict_input_NER.tsv 文件可用于测试。用户也可以使用自定义数据。

⽤户可以直接参考GitHub（https://github.com/alibaba/EasyNLP）上的说明安装 EasyNLP 算法框架。然后 cd EasyNLP/examples/information_extraction。

①用户使用数据训练模型

数据准备

训练模型需要使用训练数据和验证数据。用户可以使用我们提供的数据，也可以使用自定义数据。数据表示为 train.tsv 文件以及 dev.tsv 文件，这两个⽂件都包含以制表符\t 分隔的五列，第一列是标签，第二列是上文 K-Global Pointer 模型详解中提到的

，第三列是答案的开始，第四列是答案的的结束，第五列是答案。样例如下：

People's_Daily-train-0  ['找到文章中所有【LOC】类型的实体？文章：【海钓比赛地点在厦门与金门之间的海域。】']  [29, 32]  [31, 34]  厦门|金门DuIE2.0-train-0  ['找到文章中所有【图书作品】类型的实体？文章：【《邪少兵王》是冰火未央写的网络小说连载于旗峰天下】']  [24]  [28]  邪少兵王DuIE2.0-train-1  ['找到文章中【邪少兵王】的【作者】？文章：【《邪少兵王》是冰火未央写的网络小说连载于旗峰天下】']  [28]  [32]  冰火未央DuEE1.0-train-25900  ['找到文章中所有【竞赛行为-夺冠】类型的实体？文章：【盖斯利在英国大奖赛首场练习赛中夺冠】']  [41]  [43]  夺冠DuEE1.0-train-25901  ['找到文章中【夺冠】的【冠军】？文章：【盖斯利在英国大奖赛首场练习赛中夺冠】']  [19]  [22]  盖斯利DuEE1.0-train-25902  ['找到文章中【夺冠】的【夺冠赛事】？文章：【盖斯利在英国大奖赛首场练习赛中夺冠】']  [25]  [35]  英国大奖赛首场练习赛

训练模型

代码如下：

python main.py \--mode train \--tables=train.tsv,dev.tsv \--input_schema=id:str:1,instruction:str:1,start:str:1,end:str:1,target:str:1 \--worker_gpu=4 \--app_name=information_extraction \--sequence_length=512 \--weight_decay=0.0 \--micro_batch_size=2 \--checkpoint_dir=./information_extraction_model/ \--data_threads=5 \--user_defined_parameters='pretrain_model_name_or_path=hfl/macbert-large-zh' \--save_checkpoint_steps=500 \--gradient_accumulation_steps=8 \--epoch_num=3  \--learning_rate=2e-05  \--random_seed=42

训练好的模型保存在 information_extraction_model 文件夹中。

②用户验证训练好的模型

数据准备

验证模型需要使用验证数据。用户可以使用我们提供的数据，也可以使用自定义数据。数据表示为 dev.tsv 文件，这个⽂件包含以制表符\t 分隔的五列，第一列是标签，第二列是上文 K-Global Pointer 模型详解中提到的$H$，第三列是答案的开始，第四列是答案的的结束，第五列是答案。样例如下：

People's_Daily-train-0  ['找到文章中所有【LOC】类型的实体？文章：【海钓比赛地点在厦门与金门之间的海域。】']  [29, 32]  [31, 34]  厦门|金门DuIE2.0-train-0  ['找到文章中所有【图书作品】类型的实体？文章：【《邪少兵王》是冰火未央写的网络小说连载于旗峰天下】']  [24]  [28]  邪少兵王DuIE2.0-train-1  ['找到文章中【邪少兵王】的【作者】？文章：【《邪少兵王》是冰火未央写的网络小说连载于旗峰天下】']  [28]  [32]  冰火未央DuEE1.0-train-25900  ['找到文章中所有【竞赛行为-夺冠】类型的实体？文章：【盖斯利在英国大奖赛首场练习赛中夺冠】']  [41]  [43]  夺冠DuEE1.0-train-25901  ['找到文章中【夺冠】的【冠军】？文章：【盖斯利在英国大奖赛首场练习赛中夺冠】']  [19]  [22]  盖斯利DuEE1.0-train-25902  ['找到文章中【夺冠】的【夺冠赛事】？文章：【盖斯利在英国大奖赛首场练习赛中夺冠】']  [25]  [35]  英国大奖赛首场练习赛

验证模型

代码如下：

python main.py \--mode evaluate \--tables=dev.tsv \--input_schema=id:str:1,instruction:str:1,start:str:1,end:str:1,target:str:1 \--worker_gpu=4 \--app_name=information_extraction \--sequence_length=512 \--weight_decay=0.0 \--micro_batch_size=2 \--checkpoint_dir=./information_extraction_model/ \--data_threads=5

③用户使用训练好的模型完成中文信息抽取任务

数据准备

测试模型需要使用测试数据。用户可以使用我们提供的数据，也可以使用自定义数据。

对于命名实体识别任务，数据表示为 predict_input_NER.tsv 文件，这个⽂件包含以制表符\t 分隔的三列，第一列是标签，第二列是实体类型，第三列是文本。我们支持对同一个文本识别多种实体类型，仅需要在第二列中将不同的实体类型用;分隔开。样例如下：

1  LOC;ORG  海钓比赛地点在厦门与金门之间的海域。

对于关系抽取任务，数据表示为 predict_input_RE.tsv 文件，这个⽂件包含以制表符\t 分隔的三列，第一列是标签，第二列是关系类型，第三列是文本。我们支持对同一个文本识别多种关系类型，仅需要在第二列中将不同的关系类型用;分隔开。对于一个关系类型 relation_type（subject_type-predicate-object_type）表示为 subject_type:predicate，样例如下：

1  图书作品:作者  《邪少兵王》是冰火未央写的网络小说连载于旗峰天下

对于事件抽取任务，数据表示为 predict_input_EE.tsv 文件，这个⽂件包含以制表符\t 分隔的三列，第一列是标签，第二列是事件类型 class，第三列是文本。我们支持对同一个文本识别多种事件类型，仅需要在第二列中将不同的事件类型用;分隔开。对于一个事件类型 class 包含 event_type 以及 role_list（r1,r2,……）表示为 event_type:r1,r2,……，样例如下：

1  竞赛行为-夺冠:夺冠赛事,裁员人数  盖斯利在英国大奖赛首场练习赛中夺冠

测试模型

对于命名实体识别任务，代码如下：

python main.py \--tables=predict_input_NER.tsv \--outputs=predict_output_NER.tsv \--input_schema=id:str:1,scheme:str:1,content:str:1 \--output_schema=id,content,q_and_a \--worker_gpu=4 \--app_name=information_extraction \--sequence_length=512 \--weight_decay=0.0 \--micro_batch_size=4 \--checkpoint_dir=./information_extraction_model/ \--data_threads=5 \--user_defined_parameters='task=NER'

模型输出结果见 predict_output_NER.tsv 文件

对于关系抽取任务，代码如下：

python main.py \--tables=predict_input_RE.tsv \--outputs=predict_output_RE.tsv \--input_schema=id:str:1,scheme:str:1,content:str:1 \--output_schema=id,content,q_and_a \--worker_gpu=4 \--app_name=information_extraction \--sequence_length=512 \--weight_decay=0.0 \--micro_batch_size=4 \--checkpoint_dir=./information_extraction_model/ \--data_threads=5 \--user_defined_parameters='task=RE'

模型输出结果见 predict_output_RE.tsv 文件

对于事件抽取任务，代码如下：

python main.py \--tables=predict_input_EE.tsv \--outputs=predict_output_EE.tsv \--input_schema=id:str:1,scheme:str:1,content:str:1 \--output_schema=id,content,q_and_a \--worker_gpu=4 \--app_name=information_extraction \--sequence_length=512 \--weight_decay=0.0 \--micro_batch_size=4 \--checkpoint_dir=./information_extraction_model/ \--data_threads=5 \--user_defined_parameters='task=EE'

模型输出结果见 predict_output_EE.tsv 文件

在阿里云机器学习 PAI-DSW 上进行中文信息抽取

PAI-DSW（Data Science Workshop）是阿里云机器学习平台 PAI 开发的云上 IDE，面向不同水平的开发者，提供了交互式的编程环境（文档）。在 DSW Gallery 中，提供了各种 Notebook 示例，方便用户轻松上手 DSW，搭建各种机器学习应用。我们也在 DSW Gallery 中上架了使用 PAI-Diffusion 模型进行中文信息抽取的 Sample Notebook，欢迎大家体验！

未来展望

在未来，我们计划进一步改进 K-Global Pointer 模型，敬请期待。我们将在 EasyNLP 框架中集成更多中⽂模型，覆盖各个常⻅中⽂领域，敬请期待。我们也将在 EasyNLP 框架中集成更多 SOTA 模型，来⽀持各种 NLP 和多模态任务。此外，阿⾥云机器学习 PAI 团队也在持续推进中⽂NLP 和多模态模型的⾃研⼯作，欢迎⽤户持续关注我们，也欢迎加⼊我们的开源社区，共建中⽂NLP 和多模态算法库！

Github 地址：https://github.com/alibaba/EasyNLP

Reference

1. Chengyu Wang, Minghui Qiu, Taolin Zhang, Tingting Liu, Lei Li, Jianing Wang, Ming Wang, Jun Huang, Wei Lin. EasyNLP: A Comprehensive and Easy-to-use Toolkit for Natural Language Processing. EMNLP 2022

2. GlobalPointer：https://kexue.fm/archives/8373
   

阿里灵杰回顾

• 阿里灵杰：阿里云机器学习PAI开源中文NLP算法框架EasyNLP，助力NLP大模型落地
  

• 阿里灵杰：预训练知识度量比赛夺冠！阿里云PAI发布知识预训练工具
  

• 阿里灵杰：EasyNLP带你玩转CLIP图文检索
  

• 阿里灵杰：EasyNLP中文文图生成模型带你秒变艺术家
  

• 阿里灵杰：EasyNLP集成K-BERT算法，借助知识图谱实现更优Finetune
  

• 阿里灵杰：中文稀疏GPT大模型落地 — 通往低成本&高性能多任务通用自然语言理解的关键里程碑
  

• 阿里灵杰：EasyNLP玩转文本摘要（新闻标题）生成
  

• 阿里灵杰：跨模态学习能力再升级，EasyNLP电商文图检索效果刷新SOTA
  

• 阿里灵杰：EasyNLP带你实现中英文机器阅读理解
  

• 阿里灵杰：EasyNLP发布融合语言学和事实知识的中文预训练模型CKBERT
  

• 阿里灵杰：当大火的文图生成模型遇见知识图谱，AI画像趋近于真实世界
  

• 阿里灵杰：PAI-Diffusion模型来了！阿里云机器学习团队带您徜徉中文艺术海洋
  

• 阿里灵杰：阿里云PAI-Diffusion功能再升级，全链路支持模型调优，平均推理速度提升75%以上