写点什么

带你换个角度理解图卷积网络

发布于: 3 小时前

​​​​摘要: 本文带大家从另一个角度来理解和认识图卷积网络的概念。


本文分享自华为云社区《技术综述十二:图网络的基本概念》,原文作者:一笑倾城。

基础概念

  

笔者认为,图的核心思想是学习一个函数映射 f(.)f(.),借助该映射,图中的节点可以聚合自己的特征与邻居节点的特征,从而生成该节点的新特征表示。


Figure 1. 图的一般推理过程[1]


图神经网络 Vs. 卷积神经网络

  

如图 2 所示,卷积神经网络的输入数据一般是规则的矩阵类型数据,例如图片。每个节点和其它节点的空间关系是固定的。而图神经网络的输入数据一般表现为不规则的拓扑结构,节点与节点的关系非常复杂,节点间的空间关系一般不做约束,节点间是否存在连接以及连接的数量不做约束。复杂的网络还涉及到连接的方向和子图等概念。


Figure 2. 图网络和卷积网络[1]


如图 3 所示,如果将图的每个节点等价视为图像中的每个像素,其实,图的工作过程可以类比 CV 中的经典问题:semantic segmentation。


Figure 3. semantic segmentation[2]


图的基础组件及其实现

  

图在工作过程中,主要需要处理的问题有两个,一个是节点信息的提炼方式;另一个是邻近节点的搜索方式。整理如下:

邻近节点的搜索方式:


  • 每个节点考虑全部其它节点

  • 基于欧氏距离,只搜索近邻 N 个节点

节点信息的提炼方式:


  • MLP+Max Pooling 直接进行特征融合

  • 基于 attention,对周边节点进行加权平均

  • 普通 attention

  • Self-attention (Bert/Transformer)


Figure 4. 图节点信息的提炼过程


总结

  

最后,图卷积和卷积之间的一些对比整理在图 5 中。我们可以观察到一些有趣的现象,其实在卷积网络中,也有邻近节点搜索方式的一些工作,例如空洞卷积和可变形卷积。


Figure 5. 图网络和卷积网络工作方式比较


【参考文献】


[1] Wu, Zonghan, et al. “Acomprehensive survey on graph neural networks.” IEEE transactionson neural networks and learning systems (2020).


[2] Long, Jonathan, Evan Shelhamer, and TrevorDarrell. “Fully convolutional networks for semantic segmentation.” Proceedings of the IEEE conference on computer vision and patternrecognition. 2015.


点击关注,第一时间了解华为云新鲜技术~

发布于: 3 小时前阅读数: 3
用户头像

提供全面深入的云计算技术干货 2020.07.14 加入

华为云开发者社区,提供全面深入的云计算前景分析、丰富的技术干货、程序样例,分享华为云前沿资讯动态,方便开发者快速成长与发展,欢迎提问、互动,多方位了解云计算! 传送门:https://bbs.huaweicloud.com/

评论

发布
暂无评论
带你换个角度理解图卷积网络