10. 大数据 -- 人工智能的基石

写在前面：

大家好，我是强哥，一个热爱分享的技术狂。目前已有 12 年大数据与 AI 相关项目经验， 10 年推荐系统研究及实践经验。平时喜欢读书、暴走和写作。

业余时间专注于输出大数据、AI 等相关文章，目前已经输出了 40 万字的推荐系统系列精品文章，强哥的畅销书「构建企业级推荐系统：算法、工程实现与案例分析」已经出版，需要提升可以私信我呀。如果这些文章能够帮助你快速入门，实现职场升职加薪，我将不胜欢喜。

想要获得更多免费学习资料或内推信息，一定要看到文章最后喔。

内推信息

如果你正在看相关的招聘信息，请加我微信：liuq4360，我这里有很多内推资源等着你，欢迎投递简历。

免费学习资料

如果你想获得更多免费的学习资料，请关注同名公众号【数据与智能】，输入“资料”即可！

学习交流群

如果你想找到组织，和大家一起学习成长，交流经验，也可以加入我们的学习成长群。群里有老司机带你飞，另有小哥哥、小姐姐等你来勾搭！加小姐姐微信：epsila，她会带你入群。

大数据--人工智能的基石

我们之前说，深度学习携手大数据，引领第三次 AI 浪潮。现在我们了解了什么是深度学习，那么，什么又是大数据呢？

人们经常笼统的说，大数据就是大规模的数据，这个说法并不准确，大规模，只是指数据的量而言，数据量大，并不代表着数据一定有可以被深度学习算法利用的价值。比如说，地球绕太阳运转的过程中，每秒钟记录一次地球相对太阳的运动速度、位置。这样积累多年来得到的数据量，可以说是非常大的了，但是如果只有这样的数据，其实并没有太多可以挖掘的价值，因为地球围绕太阳运转的物理规律，人们已经研究得比较清楚了。

那么大数据到底是什么？大数据是如何产生的？什么样的数据才最具有价值？最适合作为计算机的学习对象呢？

根据马丁希尔伯特的总结，今天我们常说的大数据，其实是在 2000 年前后因为信息交换、信息存储、信息处理三个方面能力的大幅增长而产生的数据。简单地概括一下，信息交换指的是通信和网络带宽的大幅增长，而信息存储指的是计算机存储量的大幅增长，信息处理呢，则是计算机整理、转换、分析数据的能力大幅增长。

从应用角度来说，今天的大数据越来越多的呈现出以下，一种或者几种特性。

第一，大数据越来越多的来源于生产或服务过程的副产品，但在价值上却往往超过了为了特定目的而专门采集的数据，例如谷歌的大数据，虽然主要从搜索引擎的日常使用中获得，但如果深入挖掘，这些数据往往具有非常高的专业价值。

第二，大数据往往可以取代传统意义上的抽样调查。比如说按照传统方式，电视台某个节目的收视率，往往要有专业抽查公司通过抽样调查的方式通过电话拜访等渠道，获得抽样数据再估算收视率。现在有了微博或者类似的社交网络，我们可以直接利用微博上每时每刻产生的大数据对电视节目、电影的热门程度进行分析，它的准确性往往超过传统的抽样调查方式。

第三，许多大数据都可以实时获取，比如说每年双十一，在淘宝天猫这样的电子商务平台上，所有交易数据在阿里交易平台的内部都可以实时汇总，一部分数据的时效性非常强，如果不能实时利用，数据的附加值会大幅降低。大数据的实时性，为大数据的应用提供了更多的选择，这为数据更快产生应用价值提供了基础。

第四，大数据往往混合了来自多个数据元的多维度信息，比如说一份微博用户的 ID 列表虽然很有价值，但并不容易转换成商业应用所需要的完整信息，如果能够利用用户 ID 将用户在微博上的社交行为和用户在电子商务平台的购买行为关联起来，通过对不同来源的大数据的整合，采集到更多维度的数据，就可以向微博用户更准确地提供他最喜欢的商品。聚合更多数据源，增加数据维度，就是提高大数据价值的好办法。

总的来说大数据的价值在于数据分析以及分析基础上的数据挖掘和智能决策。大数据的拥有者，只有基于大数据建立有效的模型和工具，才能充分发挥大数据的价值。