盘点 2020 | 数据里有你、我、他，关键还是自己

一.前言

2020 年年底了，无论是自身还是社会上都发生很多事情，或喜或悲都将过去，总结下自身，展望未来，做更好的自己。

本人负责数据中台数据引擎基础架构设计和中间件开发，专注云计算大数据方向。

二.社区

阅读

由于专注领域关系，平时每天早上会阅读一篇极客时间文章，晚上阅读一些图书，丰富自己知识素养。

极客时间阅读数据

阅读范围：

• 大数据组件

• 架构原理

• 算法

• 编程语言原理

• JVM

• 计算机组成原理

• 微服务

• 离线计算

• 实时计算

• 交互计算

• 数据库原理

• 数据中台

• 系统原理

• 写作技巧

• 思想经典方面

今年阅读了大量的资料，学习到很多，无论运用工作，还是做社区开发，都对自身有帮助，路就在脚下，走就完了。

WeDataSphere 社区

从去年就认识到这个微众开源技术中台社区，开源 DataSphereStudio，Linkis 等等，帮助企业解决数据开发层面的技术问题，学习到很多，也推广到全公司使用，负责符合公司的情况下进行二次开发和融合组件，也总结一些经验反馈给社区，提交一些 pr，issues，年末时在社区获奖。

CSDN

平时积累一些技术方面的思考，总结成文章，大部分都记录在 CSDN 上，有些放到 GitChat，对自我认知有很大的帮助，技术主要在做中学，知道很多不如马上做起来，认真编码，认真思考，认真写作，多去感悟，提高自身。

开源

平时积累开源一些工具

• 数据交换：https://github.com/77954309/exchange-parent
  

• IDEA 插件开发：https://github.com/77954309/code_plugin
  

• 消费队列架构：https://github.com/77954309/scheduler
  

• 经典算法总结：https://github.com/77954309/classical_algorithm
  

• CDH5.16.2-Flink1.10.1-parcel：https://github.com/77954309/flink-parcel
  

三.工作

思考

业务发展前期，为了快速实现业务的需求，烟囱式的开发导致企业不同业务线，甚至相同业务线的不同应用之间，数据都是割裂的。两个数据应用的相同指标，展示的结果不一致，导致运营对数据的信任度下降。

数据中台的核心，是避免数据的重复计算，通过数据服务化，提高数据的共享能力，赋能数据应用。

由于公司是做金融 toB 方向，发展到一定程度，需要数据中台这种方案，去支撑公司的快速迭代，通过一些服务组件，串联公司业务。

建设

由于成本，人力方面考虑，借助 WeDataSphere 社区力量，构造组件，二次开发组件，整合到 DataSphereStudio 中，通过数据管理，数据交换，调度，数据质量，数据开发平台，通过可视化界面，从技术层面把组件服务串联起来形成工作流。

业务组件抽象化，把一些业务重新划分成符合平台规范的形式，统一口径，快速迭代，直接提供给业务方使用，相当于让数据开发人员直接提供产出价值，数据资产化，不用向以前通过一些抽象的结果表给业务方使用，被很多人所不理解，耦合性太强，很容易出现问题，现在通过平台让数据人员向前迈了一步，更贴近业务了。

四.展望

马上到明年了，继续深耕于数据架构，现在技术边界很低，多研究底层基础，多见识大牛思想，多锻炼，写更好的代码，继续努力。