写点什么

云计算、人工智能、大数据技术三者之间的关系

用户头像
抖码算法
关注
发布于: 2020 年 09 月 02 日
云计算、人工智能、大数据技术三者之间的关系

大家好,这里是抖码课堂,抖码课堂专注提升互联网技术人的软硬实力。



这篇文章我们从下面的内容来聊下云计算、人工智能、大数据技术三者之间的关系



  1. 探讨什么是云计算,在这里分别探讨云计算的 IaaS、PaaS 以及 SaaS

  2. 探讨云计算和大数据技术之间的关系

  3. 探讨大数据技术和人工智能之间的关系



接下来,我们进入主题

IaaS



我们一台电脑或者服务器包括下面的几种资源:



  • 计算型资源:CPU 和内存

  • 存储型资源:磁盘

  • 网络宽带资源,也就是我们常说的宽带的速度是 100 Mbps,或者 200 Mbps 等



对于一台个人电脑而言,它的资源配置可能是:1 个 CPU、8 G 内存、1 T 的磁盘容量,网速是 100 Mbps。这么多资源我们一个人往往是用不完的,至少 1 T 的磁盘容量我们一般是用不完的,既然用不完那就存在浪费。



对于一台服务器而言,它的配置可能比个人电脑要高:4 个 CPU、128 G 内存、8 T 磁盘容量、网速可能达到千兆或者万兆。在一个互联网企业中,可能需要很多的服务器,那么为了提高服务器的利用率,企业需要招聘一个专业的运维团队来负责这些服务器的日常管理。



有的时候,企业在不同的时间段需要的服务器的数量是不同的,比如:



  • 在正常情况下可能 100 台服务器就可以了

  • 但是在特殊时期,比如双十一做活动的时候,这个时候流量很大,那么就需要更多的服务器了,比如需要 300 台服务器



但是,这种特殊时期毕竟还是少数,双十一每年也就一次,每次可能就是几天而已,只有在这几天,300 台服务器才可以得到充分的利用,等这几天过去了,业务进入正常的阶段,只需要 100 台服务器就可以了,那么剩下的 200 台服务器就闲置在那里了,浪费!



那怎么样解决这种服务器过剩导致的浪费问题呢?我们可能会想到的方案是共享,就是将不用的服务器租给别人使用,但是又到了双十一的话,需要用这些租出去的服务器,那么要怎么办呢?别人可能租了两年,也就暂时不会还给你了。所以,单纯这样子共享是解决不了问题的。



没有什么问题不能通过在中间加一层来解决的。这个资源浪费的问题也是一样。假如我们将所有的服务器资源交给中间人来维护,企业需要服务器的时候,只需要向中间人申请就可以,这样企业要多少就可以申请多少,如果有多余的服务器你就可以还给中间人,中间人再把这些服务器租用给其他的企业,当然,中间人维护的服务器资源得保证够所有想用服务器的企业需要的服务器资源。



中间人来维护所有服务器资源给企业带来的好处可想而知:



  • 企业不需要再招聘一个高薪的运维团队了,节省了成本

  • 企业想用多少服务器只需要向中间人申请即可,不需要自己买服务器了

  • 而且服务器不用的话,退还给中间人即可,这样也不会带来资源的浪费



这个中间人做的事情其实就是云计算的基础,那么这个中间人就是云计算厂商了。但是记住,到这里中间人做的事情并不是全部的云计算,他只是做了云计算中提供基础设施服务的功能,在云计算中,这个功能的专业叫法是:IaaS(全称:Infrastructure as a Service)



我们站在整个社会的资源使用的角度来看,云计算提升了整个社会资源的利用率,这个是符合社会的发展的,而且随着社会的发展,可能整个中国甚至整个世界只会有那么几朵大云存在,因为这样的话资源的利用率会更高。

PaaS



到现在为止,中间人也只是将服务器的资源进行了合理的管理,然后对外提供资源服务,接下来,我们就是要在这些服务器上部署大量的应用了,比如一个电商网站,需要部署自己的网站应用,这个网站应用又需要数据库等服务,所以,在服务器上会运行着各种各样的应用,这些应用主要分为两种:



  1. 通用应用,也就是很多企业都会用到的应用,比如数据库服务

  2. 企业自有应用,这个是企业为了对外提供特有服务而开发的自有应用,这些应用是每个企业都不一样的



对于企业自有应用只能是企业自己在服务器上部署和维护了,企业自有应用可能会用到通用应用提供的服务,那么对于通用应用,企业可以选择自己部署和维护,也可以选择使用中间人在 IaaS 基础之上提供的通用应用服务。



比如,数据库就是一种通用应用,MySQL 是一种使用广泛的数据库技术,对于一个企业来说,要维护 MySQL 应用服务,需要专门招聘一个运维团队,当数据量大的时候,这个 MySQL 的维护成本就更高了,为了解决 MySQL 运维成本高的问题,中间人实际上已经在他们的服务器上提供了 MySQL 的应用服务了,企业要做的就是申请使用就可以了,数据量再大也不需要企业关心运维成本的,因为这些事情中间人会帮你搞定。



所以,对于通用应用,中间人一般会在服务器上安装部署好,你直接使用他们提供的服务就好。



到现在为止,中间人不但对服务器资源进行了合理的管理,而且还在这些服务器上提供一些通用的应用服务,这个也属于云计算的一部分了,这部分有个专业的叫法:PaaS (全称:Platform as a Service)



在通用应用服务中,还有一种大数据平台的应用服务,所以接下来我们就来聊一聊大数据和云计算之间的关系。

大数据和云计算的关系



随着社会的发展,我们能收集到的数据越来越多,一旦数据量变大的话,对大量数据的处理和分析就是一个挑战了,很明显,对于大量的数据,一台机器肯定是存储不过了,也处理不过来,那么就需要多台机器一起协作完成大数据的存储和计算了。



大数据技术的基础是大数据的存储,要实现大数据的存储,我们可以将大数据划分成很多的数据块,这些数据块分布式的存储在多台机器上。在大数据存储的基础上就可以实现大数据的分布式计算了。



从上面可以看出,要实现大数据的存储和计算,需要很多台的服务器做支撑的,所以,一个企业要开发大数据项目的话,可以这样选择:



  1. 自己购买一定数量的服务器,然后在这些服务器上搭建和维护大数据平台,企业基于自己搭建的大数据平台完成大数据项目的开发和运维

  2. 当然,企业也可以选择在云计算厂商那里申请一定数量的服务器,然后基于中间人提供的服务器搭建大数据平台,然后完成大数据项目的开发



实际上,大数据平台也是一个通用应用服务,所以,一般云计算厂商会在自己的云服务器上提供大数据平台的应用服务,这样,企业直接使用云计算厂商提供的大数据平台服务就可以,可以帮助企业减少运维成本,那么企业只需要将数据上传到云服务器上的大数据平台,然后完成大数据的处理和分析工作。



从这个角度看呢,是大数据技术拥抱云计算,这样可以:



  1. 减少企业开发大数据项目的成本

  2. 降低企业开发大数据项目的难度



接下来我们从另一个角度来看看云计算和大数据技术的关系



我们知道了云计算公司是给很多的企业提供服务的,所以,在一定的程度上,云计算公司也积累了大量的数据,为了挖掘这些数据的价值,云计算公司也离不开大数据技术。云计算公司可以通过大数据技术对他们管理的数据做进一步的挖掘。



所以,从上面我们可以得出结论:云计算公司一般会在 PaaS 层对外提供大数据平台服务,同时云计算也离不开大数据技术。

人工智能和大数据的关系



聊完大数据技术,接下来我们聊聊人工智能。



人工智能的目的其实就是让机器像人类一样思考问题。要让机器能够像人类一样思考,就要不断的让机器去学习人类思考的方式,而人类思考的方式基本都反应在人类产生的数据当中了,所以机器可以通过不断的学习人类产生的数据,从而达到能像人一样思考问题。



所以人工智能的基础是数据,没有数据的话,那么人工智能就成为无源之水了,而且,很多实验表明,数据量越大,机器学习的效果越好,那么机器解决问题的准确度就会越高。



在机器学习数据的时候,有两个很大的问题需要解决:



  1. 计算量的问题,在机器学习数据的时候计算量是非常大的

  2. 数据量的问题,数据量是越来越大的



对于上面的两个问题都是可以通过大数据技术来解决的。所以说大数据技术是推动人工智能发展的很重要的因素了。



前面我们说过,在云计算平台上提供了大数据平台应用服务,那么我们可能会问,在这个大数据平台上有没有提供我们可以直接使用的机器学习的服务呢?实际上是有的,但是是以另一种方式提供服务的。



我们知道,机器学习需要大量的数据,一般的企业中是没有大量数据的,所以即使提供机器学习的服务给企业,学习出来的效果也不会很好的,因为你没有海量数据做支撑。



但是云计算公司一般积累了海量的数据,那么云计算公司会去学习这些海量数据,生成模型,然后使用这个模型对外提供服务,企业或者个人只需要将你要解决的问题通过服务输入给这个模型,然后模型就会给你答案,这种服务模式在云计算领域中称为 SaaS (全称:Software as a Service),即软件就是服务。



所以人工智能作为 SaaS 平台进入云计算。

总结



  1. 在云计算中,一般包含 3 层:IaaS、PaaS、SaaS。

  2. 大数据平台应用服务可以单独部署和运维,当然也可以在云计算中作为通用应用部署在 PaaS 层,然后对外提供服务。

  3. 大数据技术推动着人工智能的发展,人工智能也可以作为 SaaS 平台进入云计算,对外提供服务。

  4. 云计算公司在处理大量数据的时候也是离不开大数据技术。



三者之间的关系如下图:





系统学习大数据技术:https://edu.51cto.com/sd/5fee5



发布于: 2020 年 09 月 02 日阅读数: 188
用户头像

抖码算法

关注

抖码课堂,专注提升互联网技术人的软硬实力 2018.11.22 加入

公众号:抖码课堂

评论

发布
暂无评论
云计算、人工智能、大数据技术三者之间的关系