顶会 CIKM'21 论文解读：基于图神经网络的人类行为轨迹恢复模型

关注

发布于: 3 小时前

摘要：本文是由华为云数据库创新 Lab 联合电子科技大学数据与智能实验室发表在顶会 CIKM’21 的文章，该文章提出首个克服人类移动轨迹数据中普遍存在的多层次周期性、周期偏移现象以及数据稀疏问题的轨迹恢复模型。

本文分享自华为云社区《CIKM'21PeriodicMove论文解读》，作者：云数据库创新 Lab。

导读

本文(PeriodicMove:shift-aware human mobility recovery with graph neural network)是由华为云数据库创新 Lab 联合电子科技大学数据与智能实验室发表在顶会 CIKM’21 的文章，该文章提出首个克服人类移动轨迹数据中普遍存在的多层次周期性、周期偏移现象以及数据稀疏问题的轨迹恢复模型。CIKM 是信息检索和数据挖掘领域顶级学术会议之一。本届会议共收到投稿 1251 篇，其中录用论文 271 篇，录取率约为 21.7% 。该论文是云数据库创新 LAB 在轨迹分析层面取得的关键技术成果之一。

1、摘要

随着各种基于位置的服务的推出，将稀疏的人类移动轨迹数据进行恢复补全以提升这些下游任务的准确率显得尤为重要。然而人类移动轨迹数据的恢复面临着较大的挑战：

轨迹中轨迹点之间具有复杂的转移模式
人类移动轨迹数据中普遍存在多层次周期性以及周期偏移现象
现目前采集的轨迹数据是相对稀疏的

在本文中，我们提出了一个名为 PeriodicMove 的基于图神经网络的人类行为轨迹恢复模型，在该模型中，我们首先对每条历史轨迹构建有向图，并使用图神经网络捕捉位置之间的复杂转移模式；之后，我们设计了两个注意力机制分别捕捉人类行为轨迹的多层次周期性与周期偏移性；最后，我们设计了一个空间感知的损失函数来将位置的空间临近信息引入到模型中，从而一定程度上缓解了数据稀疏问题。我们在两个具有代表性的人类轨迹数据集上做了大量实验，实验结果表明，我们的模型 PeriodicMove 相对于目前 SOTA 模型获得了 2.9%-9%的大幅性能提升。

2、模型

2.1 模型架构

我们的模型主要包括五个部分：图神经网络层、时序嵌入层、两个注意力机制层以及最后的融合恢复层

2.2 图神经网络层

为了捕捉轨迹中轨迹点之间复杂的空间转移关系，我们首先将每条轨迹按照如图所示方式进行建图，然后利用图神经网络来学习有向图中轨迹节点之间复杂的空间转移模式

2.3 时序嵌入层

我们采用《Attention is all you need》中提到的利用三角函数中相对相位来刻画轨迹序列中的相对顺序关系，然后我们将图神经网络层以及时序嵌入层的结果拼接起来，形成包含复杂时空依赖关系的嵌入向量表示

2.4 注意力机制层

Cross Attention Layer 主要用于解决人类移动轨迹数据中的周期偏移现象，我们将当前时刻 t 的移动模式与每一条历史轨迹中所有时刻的移动模式进行比较，基于一个相似性权重将相关的历史信息聚合在历史轨迹的 t 时刻以解决周期偏移现象

在经过 Cross Attention Layer 后，每一条历史轨迹的每个时刻的轨迹点表示可以理解为根据当前待补全轨迹的每个时刻进行了偏移校准。接下来在 Soft Attention Layer 中，我们将当前轨迹的第 t 时刻与每一条历史轨迹的第 t 时刻的轨迹表示进行一个 attention 操作，形成一个包含历史轨迹中的多层次周期性的历史轨迹表示

2.5 融合恢复层

在最后的融合恢复层，我们利用包含复杂时空依赖关系、包含多层次周期性且克服了周期偏移现象的历史轨迹增强序列辅助当前轨迹来进行最后的补全恢复

2.6 设计 Distance Loss

在轨迹数据高度稀疏的场景下，交叉熵损失不能很好地捕捉空间邻近性，而空间邻近性是人类移动恢复的重要特征。因此，我们设计了一个距离损失函数，以纳入空间邻近信息的模型，并且采用了 Noise Contrastive Estimation (NCE)来加速模型的训练，可视化结果显示，加入了 Distance Loss 能够有效帮助模型捕捉空间邻近信息