数据情报在金融行业的探索系列

介绍

今时今日 21 世纪，一切都在加速向前，我们处于一个信息爆炸的时代，每时每秒有大量的数据产生，这些数据和信息在很多人眼中是一座诱人的矿山，各大公司和政府机构都在极力挖掘开采它，希望找出到真正的黄金，用于提升开拓自身的业务，或者辅助政府做出更加精准的决策规划等。

而每个个体也在其中发挥着不同的作用，多数人都是数据的制造者，但是少数人他们也是数据利用者，期望各类数据能在自己手里发挥更大价值。 而笔者想把在数据情报方面前期一些探索跟大家分享出来，不成熟的地方请多多指正， 另外也期望大家将相关经验和想法跟我多多交流，我是非常喜欢交流分享的。

网络上已有大量介绍对网络，IP，DNS，设备等常规信息采集介绍，所以笔者就不多做赘述，笔者想通过一种不太一样的视角和维度来采集分析利用数据，如：通过各种社交，媒体，地图，视频，图片，坐标，人物，文档等多类型数据和视角，帮助我们进一步了解目标的信息，发掘更深层次的联系，一方面从安全角度找到新的攻击视角，另一方面在业务，风控等领域识别目标对象真伪，识别风险，追踪历史行为痕迹，从而降低业务风险规避损失。

因为涉及内容较多，作者会把相关内容作为一个系类文章发表，目前主要将数据情报收集，分析，扩展，利用分为 4 个环节，通过方法思路和工程化能力两个方向来展开，参见如下：

1 主要介绍一些数据情报进行收集分析利用工具和服务，通过一些案例介绍一些分析方法和思路，更进一步分析可以延申到对新闻，社交信息，商业信息，人员信息等多个方面，帮助公司辨识各类事件，业务，财报，行业等多个方面风险，降低整体经营风险。

2 主要介绍如何将各个环节进行工程化实践，更好与已有的数据平台进行整合或者建设独立的平台。此外通过借助数据处理，流式计算，知识图谱，Machine learning,Deep learning 等技术提升各类数据收集识别关联能力，并且将这些数据和能力进行一步与业务场景进行融合，提升业务分析能力和降低业务风险。

后面会讲到如何将前面的信息收集，分析，扩展，利用等多个能力如何进行工程化实践。

备注：

A 因部分内容较为敏感会进行相应删减。B 因为某些不言而喻的原因，文章内的举例主要以国外为主。C 数据情报采集和分析部分内容有交叉得部分，有些工具或服务既能做数据收集也能进行数据分析，所以部分内容也把它归到收集这个章节中。

一、 数据情报收集系列之一

本篇主要介绍了各类开源数据情报的收集工具和服务，基本上精准的数据情报是一把双刃剑即可作为精准的打击手段，也可评估安全防御体系建设的有效性，甚至对溯源的有力支撑。关于数据情报的主要分为两个方向，一个是传统的数据情报收集，另一个是新领域数据情报收集，传统的已有很多人介绍过了，笔者就不过多赘述了，本次主要介绍的是新领域数据情报收集。

01 基于传统的数据情报收集

网络上已有大量介绍对网络，IP，DNS，设备，服务，端口，人员，邮件，账户，电话号码等常规信息采集介绍，各种开源工具也能够帮助我们收集，分析，各种类型的数据，情报信息，加速我们对目标的信息的精准定位和分析，帮助我们进一步了解目标对象，降低攻击难度，增加各种攻击面和手段。所以笔者就不多做赘述，

02 新领域数据情报收集

通过各种社交，公共媒体，地图，视频，图片，坐标，人物，文档，语音等多类型数据和视角，帮助我们进一步了解目标的信息，发掘更层次的信息。一方面了解更多的目标信息情报，从安全角度找到新的攻击视角，另一方面帮助业务，风控等各个部门识别目标对象真伪，识别风险，追踪历史行为痕迹，发现个人，公司，业务，行业等方面可能存在的风险。

1.1 开源数据情报工具和服务

1.1.1 地图工具

我们通过各类地方工具结合卫星地图，街景，室内地图，部分公共摄像头，结合各类强大的 API 接口能够帮助我们获取各种数据，可用于追踪特定目标对象及对目标信息进行真伪识别，本节先对部分地图，街景工具做个简单介绍，后续我们将利用这些工具，结合图像/视频识别技术，建立起多个对象之间的关系，从多个角度进行推理，完成目标信息分析，进一步可以建立起一条完整的追踪和分析链条。后面我会完成一个特定例子,大家也许能够发散延申出各种使用方式，开发出各类意想不到的功能。

备注：本次时间关系部分内容准备得不够充分后续会陆续补充进来。

Google map/earth：

Google Map 是最常用的地图加上 Google earth 满足绝大多数对各类地图街景的分析，它应当是用的最多的也是目前我们能从免费渠道得到得最强大的地图工具，再结合 Google 强大的 API 利用各类图像识别技术，结合各类数据，坐标，轨迹等等我们能够快速发现高价值信息轨迹，也能够辅助我们来追踪特定目标，后面的章节中我们会介绍如何利用相关工具进行目标和事件的分析挖掘，更加具有挑战的是通过组合各类数据和工具完成一次追踪和排查。

补充一点 Google Earth 近期推出了 Timelapse 可以直接对目标对象进行时光回溯，帮助我们快速分析被追踪对象在过去时间上的演进和变化，这是非常有意思的功能。

DualMaps:

整合了 Google map，earth,street view 更加方便的进行关联查找，提升查找分析效率。DualMaps（http://data.mashedworld.com/dualmaps/map.htm?x=-87.981906&y=43.029482&z=16&gm=2&ve=4&gc=0&bz=1&bd=0&mw=1&mi=0&mg=1&mv=0）

特殊类型地图：

Mapchecking:可以用来计算所选范围大小，人员数量等，更多功能大家可以慢慢发掘,人员数量统计并不一定准确，可以结合一些其它方面的工具能够获取更多信息。Mapchecking（https://www.mapchecking.com/）

1.1.2 图片和视频工具

以下这些工具能提供给我们许多有力支持，包括分析图片，视频历史流传痕迹，时间，拍摄设备，时间，是否被篡改等多类信息，是我们用来对图片，视频，甚至用来判断上传用户信息，都是非常有效的工具。

Youtube DataViewer：

视频信息分析，主要是对 Youtube 视频，根据 URL 快速分析 youtu 主，及上传视频的各类信息，可用于追踪各种视频图片的日期以及互联网痕迹信息，追踪原始视频版本，追踪使用历史，辨识是否被篡改。Youtube DataViewer（https://citizenevidence.amnestyusa.org/）

Fotoforensics：通过向网站上传图片，通过来识别图片，照片的真伪，可做为对判断新闻及文章的真实度的一个角度。Fotoforensics（http://fotoforensics.com/）

JPEGsnoop:

能够帮助用户分析照片中隐藏的大量细节，还可以提取照片中的各类信息，包括拍照设备信息等。也可用来根据照片上的光线，明暗度来分析一天内的拍照时间，它是一个 Windows 应用。JPEGsnoop（https://www.impulseadventure.com/photo/jpeg-snoop.html）

Tineye：图片查询，对较新的和国内图片数据检索能力较似乎较差。Tineye（https://tineye.com/）

Forensically：

它能对图片进行 Clone Detection（克隆检测），Error Level Analysis（误差水平分析），Noise Analysis（噪声分析）等多项数据检测。Forensically（https://29a.ch/photo-forensics/#forensic-magnifier）