大数据方向另一个十年开启 |《硬刚系列》第一版完结

关注

发布于: 1 小时前

我先声明一下，有些文章我没有标记原创，任何未经本人授权转载一律追究侵权责任。

【硬刚系列】是针对某一个框架/知识点进行的系统性总结和学习，基本上也是个人学习的必要路径。个人会从一个框架/知识点入手进行全方位的立体整合。
争取一篇文章能介绍清楚来龙去脉和重点难点，读者根据需要去针对性的学习。

上面是当初我立 Flag 的时候，写的简介。第一个版本主要针对一些 OLAP 框架为主吧。我个人感觉基本目的都达到了。

上面的每篇文章都参考了 10 篇以上的我的个人笔记和外部资料。有些非常经典的论文在我的收藏夹里躺了超过 3 年之久。

有些文章的名字可能没有「硬刚」字眼，但是行文思路基本上也是按照原来的设想进行的。

与自己是一种总结。与读者是一种输入。

大家都有收获，岂不美哉？

写了这么久文章，除了恰饭的时候，一直保持着旺盛的精力和强大的输出，有时候也真是疲倦，感觉找不到什么方向去突破。

现在的大数据行业细分也秉持了 10 年的刚刚出现的时候的姿态一直在向前发展，未来可能有些方向会慢慢消亡，或者从传统的定义进化。

比如传统的 BI 岗位，这个岗位已经开始慢慢在消亡，和传统的离线数据仓库 &实时数据仓库进行了有机的融合。再比如，原来有个岗位叫做 ETL，也慢慢要淡出大家视野了，因为技能的局限性和可替代性太强？

最近的一年来，Flink 社区仍然保持比较旺盛的活力，更多的原因是因为社区的推动，与开发者不过是个工具，与阿里是技术影响力和商业化考量。

数据湖方向发展方兴未艾，都想攀上 Flink 社区的大树。未来谨慎看好吧，因为并未给一家业务主导的公司带来实质性的改变。

最近 Apache 社区停更了 Sqoop，阿帕奇社区的几个项目在阶段性的完成了它的使命后最终都落幕了。比如刚刚停更的 Sqoop，可能还有些同学在用的 Kettle，还有我很早接触过的一个 Falcon，它们早就该消失在历史的滚滚洪流中了。

自今年 4 月 1 日起，Apache 软件基金会宣布将至少 19 个开源项目撤回到他们的 Attic，其中 13 个与大数据相关，10 个属于 Hadoop 生态系统。这种事情的发生基本也可以宣布大数据领域的黄金十年(2010-2020 年)结束了。

很多同学可能都没有仔细了解过大数据这个细分方向的历史，但是没有关系，下一个十年你们有机会一起见证了。

我之前还写过一篇《2021年，开发者的落日》，从我个人感情角度讲，不太想写这种唱衰的文章，但是我看到一些现象就会引发思考。

居安思危也许是人类经过百万年的进化得以统治地球的原因吧。

周末一个星球里的校招应届生找到我，关于学习路线和未来发展方向的问题。

我觉得我又有新的方向了，大数据行业马上要迎来井喷式增长的 10 年，大量从业人员从学校开始涌入。也代表这个行业走向历史的拐点了。

从野蛮发展到科班式培养，更多的应届生愿意从事这个行业，也是好事儿。

我觉得他们缺一个引路人，比如我。

好了，本次分享就到这里了。
我是王知无，一个大数据领域的硬核原创作者。关注技术提升 &个人成长 &职场进阶，欢迎关注。

发布于: 1 小时前阅读数: 3

关注

大数据成神之路作者，全网阅读超百万。 2019.01.20 加入

《大数据成神之路》作者，全网阅读超百万。公众号：《import_bigdata》，关注大数据领域最新动态。略微懂点大数据方面的知识。

发布

暂无评论

评论