写点什么

用 Go 替代 Python 在生产环境中进行数据分析

用户头像
良少
关注
发布于: 2020 年 05 月 10 日

数据分析

介绍

目前,计算机领域正在从 IT 时代向 DT 时代迅速演进。

IT 时代,就是信息科技时代。是用信息技术改善工作效率。

DT 时代,就是数据科技时代。根据数据进行决策,改善决策效率。数据科技正在颠覆一个又一个行业的格局。最近几年,数据科学家这个新职位也成为了职场上最热门的职位。


根据数据进行决策,这个工作可以分为两个部分,一个部分是数据的采集、整理、加工和处理,另一部分是使用统计学、机器学习、人工智能等的模型从数据中提取知识进行决策。


数据和数据之间的关系,决定了基于数据决策的效果的理论上限。模型,只能无限逼近这个理论上限。

而且,现实中,简单和复杂的模型,其实际效果相差都不大。因此,如何搜集数据、处理数据、加工数据、分析数据,这样的脏活和累活,其实才是数据科学工作中最重要的工作,也是工作量最大的工作。设计模型相对来说没有那么重要。


目前,数据处理和分析,主要使用的是 Python 语言,也有一些统计学背景的从业者使用 R 语言。当然,也有人使用 SAS,SPSS,Matlab 等付费语言和软件。

Python 语言中,numpy 和 Pandas 库更是数据分析的神器。简单、灵活、强大。


探索性的数据分析和生产环境中的数据分析

但是,Python 用于数据分析,也有一些问题。Python 作为一门动态语言,有很多表现力强大的语法糖,开发效率非常高,但运行效率很低。而且 Python 语言对多线程的支持并不好。


日常进行一些探索性的数据分析,Python 是非常实用的工具。Python 开发效率高,可以快速编写出多个版本的代码,进行数据探索,寻找内部规律。


但是,一旦在生产环境中部署 Python 数据分析程序,就会暴露出 Python 程序运行性能低的问题。生产环境中并发访问量有时可能很大,如果部署 Python 的数据分析程序,由于其性能较低,需要部署大量节点,使用大量计算资源来满足并发需求。这成本就比较高了。

而且即使部署大量资源,由于 Python 程序性能较低,也难以满足某些要求快速响应的业务场景。

那么,有没有什么适合数据分析且运行效率高的语言呢?R 语言行不行呢?抱歉,R 语言虽然也非常适合编写数据分析程序,但是 R 语言的运行效率比 Python 语言还低。


我发现 Go 语言,是替代 Python 进行高性能数据分析非常适合的语言。


Go 语言

介绍

Go 语言(又叫 Golang,因为在 Go 语言刚发布时,用 Go 很难在搜索引擎搜索到 Go 语言的信息)是 Google 公司在 2007 年推出的一门静态编译型语言。Go 语言诞生的目的,是为了作为 C 语言的补充,是为了取代 C++。主要目的是为了编写后端程序。Go 语言官方至今都没有推出过前端开发框架。当然,你现在也可以找到一些第三方用 Go 语言开发的前端开发框架。GTK,QT 等都有 Go 语言对应的版本。


Go 语言的设计思想,就是简单。Go 语言只有 25 个关键字。Go 语言最强调的就是简单性,我估计可能是为了和 C++反着来吧。众所周知,C++是一门非常复杂,并且复杂性在不断攀升的语言。C++的复杂性带来了很多问题。


Go 语言是 C 语言的后继。从其设计来看,非常接近 C 语言,只是给 C 语言增加了少量功能而已。基本上就是给 C 语言添加了一些现代编程需要的少数特性:对象,接口,多返回值,协程,channel,切片,字典,垃圾回收器,闭包,错误管理,跨平台等。


Go 语言是一门静态编译型的语言,生成的是机器码,因此其程序运行效率非常高,接近 C。Go 语言的语意表达能力没有 Python 强,也没有 Python 那么多语法糖,因此其开发效率比 Python 略低,完成同样的功能需要编写稍多一些的代码。但权衡开发效率和运行效率后,我认为用 Go 替代 Python 在生产环境中进行数据分析,是非常正确的决定。


Go 语言的数据分析库

Python 中的 numpy 和 pandas,在 Go 语言中也有对应的开源软件:gonum 和 gota。gonum 和 gota,比 numpy 和 pandas 的性能要强很多。


Go 语言和 Python 语言的性能对比

Go 语言和 Python 语言一般性能对比

我在网上找到一份Go语言和Python3在一些测试用例上的性能测试对比报告。

在上述测试报告中,大部分测试用例下,Go 语言程序要比 Python 语言程序快 40 多倍。


Golang Gota 和 Python Pandas 性能对比

我们知道,在测试用例下表现好,不一定代表真实场景下表现也一样好。


因此,我分别用 Python3 的 pandas 和 Golang 的 gota 编写了一个简单的数据分析程序,模拟现实中的数据分析问题,对两者的性能进行了对比测试。

测试程序做了三件事情:

1,从 json 字符串创建数据帧(就是一个表)对象

golang 比 python 快 84 倍。


2,对数据帧的每一行累加后做平均

golang 比 python 快 218 倍。


3,对数据帧的每一行累加后做平均,再把结果作为新的列添加进数据帧

golang 比 python 快 61 倍。

因为 gota 底层用的是 gonum,pandas 底层用的是 numpy。所以,我没有对 gonum 和 numpy 单独执行性能对比测试。上述性能对比结果应该能够代表 gonum 和 numpy 的性能差异。


用 Go 替代 Python 在生产环境中进行数据分析

通过以上对比,我们看到 Go 语言在进行数据分析时,其运行效率比 Python 要高出 2 个数量级。如果在生产环境中,需要部署 100 台服务器运行 Python 程序以满足业务需要。那么如果使用 Go 语言编写数据分析程序,则可能只需要 1、2 台服务器就够了。并且能够满足某些要求响应时间非常短的业务场景。

而且,Go 语言的开发效率也没有比 Python 低太多。这买卖划得来!


但也不是说,以后我们就只需要用 Go 语言进行数据分析了。

在执行探索性数据分析任务时,通常执行一次程序后,就需要修改很多代码,然后再重新执行程序看下结果。这个过程需要重复很多轮。这种场景下,用高开发效率的 Python 编写程序是更合适的选择。



发布于: 2020 年 05 月 10 日阅读数: 609
用户头像

良少

关注

余好读书,乐思善疑,常攥文以记之。 2018.11.13 加入

编程很多年了,大部分软件技术都会^_^

评论

发布
暂无评论
用Go替代Python在生产环境中进行数据分析