利用 Python 爬取了 13966 条运维招聘信息,我得出了哪些结论?
![利用 Python 爬取了 13966 条运维招聘信息,我得出了哪些结论?](https://static001.geekbang.org/infoq/96/96dcfab484656268a02bccd4aea9aea6.png)
公众号:杰哥的IT之旅,后台回复:「运维」可获取本文完整数据
作者:JackTian、黄伟呢
微信公众号:杰哥的IT之旅(ID:Jake_Internet)
大家好,我是 JackTian。
我经常会收到读者关于一系列咨询运维方面的事情,比如:杰哥,运维到底是做什么的呀?运维的薪资水平/ 待遇怎么样呢?杰哥帮忙看下这个岗位的招聘需要对于小白来说,能否胜任的了呢?等等。
这里,我把之前写的《一篇文章带你解读从初级运维工程师到资深运维专家的学习路线》,本文从初级 / 中级 / 高级运维工程师以及到资深方向逐步展开给大家汇总了一些各阶段所具备的技能,仅供学习路线参考,如有补充,可通过本文进行留言参与互动。
这次呢,杰哥带着一种好奇心的想法,结合自身的工作经验与业界全国关于招聘运维工程师的岗位做一个初步型的分析,我的一位好朋友 —— 黄伟呢,帮我爬取了 13966 条关于运维的招聘信息,看看有哪些数据存在相关差异化。主要包括内容:
热门行业的用人需求 Top10
热门城市的岗位数量 Top10
岗位的省份分布
不同公司规模的用人情况
排名前 10 的岗位的平均薪资
岗位对学历的要求
运维岗位需求的词云图分布
![](https://static001.geekbang.org/infoq/fb/fb713d33c99cff9d4a6f88e5cd5e6e88.gif)
对于本文的叙述,我们分以下三步为大家讲解。
爬虫部分
数据清洗
数据可视化及分析
1、爬虫部分
本文主要爬取的是 51job 上面,关于运维相关岗位的数据,网站解析主要使用的是Xpath,数据清洗用的是 Pandas 库,而可视化主要使用的是 Pyecharts 库。
相关注释均已在代码中注明,为方便阅读,这里只展示部分代码,完整代码可查看文末部分进行获取。
2、数据清洗
1)读取数据
2)为数据设置新的行、列索引
3)去重处理
4)对岗位名字段的处理
5)工资字段的处理
6)工作地点字段的处理
7)公司类型字段的处理
8)行业字段的处理
9)经验与学历字段的处理
10)公司规模字段的处理
11)将处理好的数据,构造新数据,导出为新的 excel
3、数据可视化
1)可视化大屏效果
![](https://static001.geekbang.org/infoq/e5/e50b1d13c2d9f87da76ab9140081bf36.gif)
2)热门行业的用人需求 Top10
![](https://static001.geekbang.org/infoq/8d/8d49c95935b056014244e9af52fba172.png)
3)热门城市的岗位数量 Top10
![](https://static001.geekbang.org/infoq/2a/2afaf9bfad8ecda0fb01c0a23acb15f1.png)
4)岗位的省份分布
![](https://static001.geekbang.org/infoq/21/21572efec9c381724c1154bb3d88b9c3.png)
5)不同公司规模的用人情况
![](https://static001.geekbang.org/infoq/6d/6de2151d3499b478537432e3e1f73f7d.png)
6)排名前 10 的岗位的平均薪资
根据我的了解,比如:系统工程师、软件 / 实施工程师、运维专员 等一系列的岗位其实也是可以划分在运维领域范畴之内的,每家公司对运维工作者的岗位名称定义有所不同,为了能够更精准的筛选分析,把那些岗位占时去掉了。留下了以下 10 个岗位名称(运维开发、运维工程师、软件运维、网络运维、系统运维、桌面运维、数据库运维、应用运维、Linux 运维、IT 运维)这些岗位名称基本是我见过招聘信息内最多的。
![](https://static001.geekbang.org/infoq/51/51c054116587e9e3ebb4cf14d6ef21ec.png)
7)运维岗位的学历要求分布
![](https://static001.geekbang.org/infoq/b9/b9cc7778d530ae80b5237f81728286ee.png)
8)运维岗位需求的词云图分布
![](https://static001.geekbang.org/infoq/95/95235046f5f6f83dc2afbf343858e866.png)
总结
介绍了这么多,相信你也对运维工程师有了初步的认识与了解,通过本篇文章你可以了解到哪些行业的对运维的用人需求是比较高的?最为招聘运维热门的城市有哪些?运维岗位的分布、不同公司规模对运维工程师的用人情况占比、关于运维相关岗位的平均薪资、招聘运维岗位对学历的要求以及运维岗位需求词云图包括哪些词频最多,通过这一数据的分析,相信能对你在今后的运维求职方向、行业、城市以及公司规模有所初步的判断及选择,希望对你有所帮助。
关于针对运维岗位所具备的技能点,可参考《一篇文章带你解读从初级运维工程师到资深运维专家的学习路线》,如果你对运维岗位还有其他相关疑惑的,也可以通过本篇文章留言参与互动,对于那些大多数读者有存在相关问题的,我还可以从留言区中挖掘一下,有没有后续写相关文章的需要。所以,大家尽情的留言吧。
原创不易,码字不易,如果你觉得这篇文章对你有点用的话,就请为本文留个言,点个在看,或者转发一下吧,让更多的运维工程师看到。因为这将是我持续输出更多优质文章的最强动力!感谢大家!
对了,最后,在这里还想说一点,关于不同领域以及相关有意思的文章征稿中,欢迎大家的参与,具体联系方式可通过本公众号底部菜单栏中 >>> 联系我中,进行查看,期待我们能一起搞事情。
公众号:杰哥的IT之旅,后台回复:「运维」可获取本文完整数据
关注微信公众号『杰哥的IT之旅』,后台回复“1024”查看更多内容,回复“微信”添加我微信。
![](https://static001.geekbang.org/infoq/31/31b50e2272b02a3d02617506d3691971.png?x-oss-process=image/resize,p_80/auto-orient,1)
版权声明: 本文为 InfoQ 作者【JackTian】的原创文章。
原文链接:【http://xie.infoq.cn/article/8f904d29e8843e3b89f9a53d7】。文章转载请联系作者。
评论