应用实例分析——图像检索

在人工智能技术方面，图像视觉应该是被应用最广泛的技术之一。本文作者从关键技术和产品设计两大方面，围绕图像检索技术的应用进行了产品介绍，推荐想了解图像检索的童鞋看看。

在人工智能技术应用方面，图像视觉应该是被应用最广泛的技术之一，从最早的安防监控，到后面落地最多的人脸识别，都是图像技术的应用，本文想围绕图像检索技术的应用进行产品介绍。

图像检索技术在实际应用中包括了检索+识别（相似度度量）两个部分，目前重点应用于泛搜索引擎中，百度搜索、谷歌搜索、淘宝拍立淘等都可以支持通过图片检索实现信息查找。

相对于文字搜索而言，图像检索更直观，更易操作，尤其是对于陌生信息的检索，可以直接通过拍照实现信息的检索。

一、关键技术

图像检索包括了基于文本的图像检索和基于内容的图像检索。基于文本的图像检索主要通过对图像进行文本描述，提炼关键词等标签信息，后续在进行检索时，可以通过检索关键词的方式查找对应的图片，这种方式跟用百度查找“胡歌”返回胡歌的照片是一致的；

基于内容的图像检索是通过提取图像的纹理、颜色、梯度或者其他高层语义特征等作为图像特征来计算图像间的相似度，实现图像检索。

1. 基于文本的图像检索

如果需要高查准率，就需要精确的标签数据，而精确的标签数据对于人工标注来说是耗时耗力的，甚至有些图像很难用有限的关键词能描述清楚。目前通常情况下会先基于图像内容分析进行自动标注，然后只要存储图像和文本标签即可，虽然会降低查准率，但是仍然可以保证文本检索。

2. 基于内容的图像检索

虽然搜索精度不一定如文本搜索，并且容易受到图像质量（光照、遮挡、背景复杂度等）的影响，但是对用户而言，搜索难度将降低，可以实现所见即所得，只要拍照出发搜索即可。因此，可应用范围将更加广阔。

3. 分布式存储技术

除了关键的算法技术，还需要跟工程相关的分布式存储技术，因为在实际工程应用中，涉及到的索引结构需要支持到 10 亿量级的，所以如何构建并存储图片的特征索引信息，需要工程上进行优化（ps：由于过于技术化，笔者也不敢班门弄斧了）。

在实际应用中，基于文本和基于内容的图像检索一般是解耦的，产品设计可以选择两者并存，或者独立使用。

比如在电商中，淘宝通过知识图谱技术构建了大量的商品画像，所以用户可以通过文本搜索，同时拍立淘也支持图像搜商品；而某些识花等小软件则是单纯通过以图搜图实现。具体的还是需要产品根据实际应用场景来决定。

本文下面将重点介绍的是基于内容的图像检索，其中基于内容的图像检索，从产品的输入角度又可以分为以图搜、以视频搜和以音频搜，列举出来的话是图搜图、图搜视频、视频搜视频。

二、产品设计 1. 应用场景

（1）目前常见的图像搜索应用场景有以下几种：

1. 拍立淘的电商应用场景，通过拍照识图，实现快速购物，提高购物体验。

2. 视觉中国的图片库类的图片查找应用场景，实现图片查找应用，和版权鉴定。

3. 阿里在工业场景中提供的布料纺织品的图像检索技术，快速了解布料的供应信息。

4. 医疗诊断方面，可以通过图像检索在医学影像库找到相似医学病灶的案例，从而协助病情的诊断的应用场景。

（2）本文选择图片库类的图片检索为应用场景，讲述产品设计中的业务流程和需要支持的产品能力，其中图片库类的图片检索应用场景有以下两个：

1. 供稿人上传图片，为保证图片版权，会对供稿人图片与现有图片库进行查重，避免侵权行为。

2. 用户查找并下载图片，为了满足用户的图片需求，一般会进行相似图片推荐。

2. 检索技巧

先确定应用场景不仅是为了便于产品设计，也是为了检索技术的选择，从图像检索的特征来看一般包括两种类型：

1. 相同图搜索：是指返回与查询图片包含相同主体的图片，一般是完全相同或具备相同主体的图片，主要适用于重复图片检测、图片精确查找等场景。

2. 相似图搜索：是指返回与查询图片内容语义相似的图片，内容语义相似包括在图片类型、颜色、布局、内容、风格和纹理等特征方面的相似，主要应用于相似图片素材搜索、相似图片推荐等场景；