写点什么

数据结构分析 _Inception_GNN_GCN

作者:Studying_swz
  • 2022-11-27
    天津
  • 本文字数:1016 字

    阅读完需:约 3 分钟

数据结构分析_Inception_GNN_GCN

<hr style=" border:solid; width:100px; height:1px;" color=#000000 size=1">

1.数据结构分析(欧几里德和非欧几里德数据)

  • 欧几里德数据

  • 如上图所示,每个节点之间都是排列整齐的,所以很容易的可以定义出距离来,如下图所示:

  • 非欧几里德数据


排列不整齐,比较的随意。具体体现在:对于数据中的某个点,难以定义出其邻居节点出来,或者是不同节点的邻居节点的数量是不同的。


https://blog.csdn.net/imsuhxz/article/details/91361977

2.inception V1 V2 V3 V4

inception V1


卷积了几步之后就开始出现并行的过程,换成几个 1 * 1, 3 * 3, 5 * 5 的卷积并列。然后再把分别卷积的结果作为层数维度上的合并。比方说这一层本来是一个 2828 大小的卷积核,一共输出 224 层,换成 inception 以后就是 64 层 1 * 1, 128 层 3 * 3, 32 层 5 * 5。这样算到最后依然是 224 层,但是参数个数明显减少了,从 2828*224 = 9834496 变成了 1 * 1 * 64+3 * 3 * 128+5 * 5 *32 = 2089,减小了几个数量级。再上一张形象的图:


Inception V2

inception V2 其实在网络上没有什么改动,只是在输入的时候增加了 batch_normal,所以他的论文名字也是叫 batch_normal,加了这个以后训练起来收敛更快,学习起来自然更高效,可以减少 dropout 的使用。


BN 理解

神经网络中传递的张量数据,其维度通常记为[N, H, W, C],其中 N 是 batch_size,H、W 是行、列,C 是通道数。那么上式中 BN 的输入集合 [公式] 就是下图中蓝色的部分。




https://zhuanlan.zhihu.com/p/93643523

Inception V3

Inception V3 把 googlenet 里一些 7 * 7 的卷积变成了 1 * 7 和 7 * 1 的两层串联,3 * 3 的也一样,变成了 1 * 3 和 3 * 1,这样加速了计算,还增加了网络的非线性,减小过拟合的概率。另外,网络的输入从 224 改成了 299.

Inception V4

inception v4 实际上是把原来的 inception 加上了 resnet 的方法,从一个节点能够跳过一些节点直接连入之后的一些节点,并且残差也跟着过去一个。另外就是 V4 把一个先 1 * 1 再 3 * 3 那步换成了先 3 * 3 再 1 * 1.论文说引入 resnet 不是用来提高深度,进而提高准确度的,只是用来提高速度的https://blog.csdn.net/u011021773/article/details/80791650

3.GNN 简单理解

  • 聚合

  • 更新

  • 传递


https://www.bilibili.com/video/BV1Tf4y1i7Go/?spm_id_from=333.788.recommend_more_video.-1

4.GCN 简单理解

对于上面聚合没有考虑到自己的信息以及对于 GNN 中聚合里的 B、C、D 点的权重如何确定?


  • 聚合(包含自己)

  • 平均法(由特例,如:收入不均衡)

  • 解决(公式中 D 是度的意思,来限制权重)

发布于: 刚刚阅读数: 3
用户头像

Studying_swz

关注

还未添加个人签名 2020-12-23 加入

还未添加个人简介

评论

发布
暂无评论
数据结构分析_Inception_GNN_GCN_人工智能_Studying_swz_InfoQ写作社区