6 种常见的地标识别算法整理和总结

​​​​​​​​摘要：地标识别，基于深度学习及大规模图像训练，支持上千种物体识别及场景识别，广泛应用于拍照识图、幼教科普、图片分类等场景。本文将为大家带来 6 种关于地标识的算法整理和总结。

本文分享自华为云社区《地标识别算法》，原文作者：阿杜 。

地标识别，基于深度学习及大规模图像训练，支持上千种物体识别及场景识别，广泛应用于拍照识图、幼教科普、图片分类等场景。本文将为大家带来 6 种关于地标识的算法。

一、《1st Place Solution to Google Landmark Retrieval 2020》

​算法思路：

Step1：使用清洗过的 GLDv2 数据集训练初始 embedding 模型。

Step2：使用全量 GLDv2 数据基于 Step1 得到的模型进行迁移学习。

Step3：逐步扩大训练图片的尺度（512*512，640*640，736*736），模型性能得到进一步提升。Step4：增加清洗后的数据的训练 loss 权重，进一步训练模型。Step5：模型融合。

Notes：

1、Backbone 模型为 Efficientnet+globalaverage pooling，训练使用了 cosinesoftmax loss。

2、为了处理类别不均衡问题，使用了 weightedcross entropy。

经验总结：

1、清洗后的数据有利于模型快速收敛。

2、全量大数据集有利于模型学习到更好的特征表示。

3、增加训练分辨率能提升模型性能。

​

​

​二、《3rd Place Solution to “Google Landmark Retrieval 2020》

​

​

​

算法思路：

Step1：使用 CGLDv2 训练基础模型用于提取 GLDv2 全量图片特征，使用 DBSCAN 聚类方法更新图像类别，进行数据清洗。

Step2：使用了 Corner-Cutmix 的图像增广方法，进行模型训练。

Notes：

1、backbone 为 ResNest200 和 ResNet152，GAP 池化，1*1 卷积降维到 512 维，损失函数为 cross entropy loss。

三、《Two-stage Discriminative Re-ranking for Large-scale LandmarkRetrieval》

​算法思路：

Step1：使用 CNN 特征进行 KNN 搜索，获取相似图片。

Step2：插入 Step1 遗漏的图片进行重新排序。

Notes：

1、Backbone 模型为 ResNet-101+GeneralizedMean (GeM)-pooling，训练 loss 为 ArcFace loss。

2、使用全局特征+局部特征对 GLd-v2 数据集进行清洗，用于后续模型训练。

四、《2nd Place and 2nd Place Solution to Kaggle Landmark Recognitionand Retrieval Competition 2019》

​算法思路：

1、使用 GLD-v2 全量数据分别训练 Resnet152、ResNet200 等模型，训练 loss 为 ArcFace loss、Npairs loss，拼接各个 backbone 的特征，使用 PCA 降到 512 维，作为图像的全局特征。

2、使用全局特征进行 KNN 搜索，对搜索结果使用 SURF、Hassian-Affine 和 root sift 局部特征进行再排序，并且使用了 DBA 和 AQE。

五、《Detect-to-Retrieve: Efficient Regional Aggregation for ImageSearch》

算法思路：

Step1：使用 GLD 的带 bbox 数据集，训练 Faster-RCNN 或 SSD 检测模型，用于地标框的提取。

Step2：提出了 D2R-R-ASMK 方法，用于检测框内的局部特征提取与特征聚合。

Step3：使用聚合后特征在 database 中进行搜索。

Notes：

1、D2R-R-ASMK 基于 DELF 局部特征抽取和 ASMK 特征聚合方法实现。

2、每张图片提取 4.05 个 region 的时候效果最好，search 的内存占用会有相应增加。

六、《Unifying Deep Local and Global Features for Image Search》

​算法思路：

Step1：统一在同一个网络中提取全局和局部特征

Step2：使用全局特征搜索 top100 的相似图片

Step3：使用局部特征对搜索结果进行重排序

Notes：

1、全局特征使用 GeM 池化和 ArcFace loss。

2、局部特征匹配使用 Ransac 方法。

点击关注，第一时间了解华为云新鲜技术~