数据工程师越做越有成就感的 7 点经验分享

当前的数据工程师承受了很大的压力，但未来还将面临更多的挑战。如何利用成熟的方法和生态系统自动化处理日常任务，并保持数据湖没有任何低质量的数据或错误。以下是给数据工程师的一点经验分享：

经验 #1：在不同的配置、ETL 代码版本、计算工具和压缩算法下运行实验并测试你的数据

经验 #2：在不制作多个数据副本的情况下进行隔离实验

经验 #3：扫描提交历史的一致性，以识别潜在的错误

经验 #4：在新数据进入湖中之前对其进行验证 

经验 #5：确保只有高质量的数据入湖

经验 #6：开发快速识别与数据有关的错误的能力，以重现和解决这些问题

经验 #7：搭载版本控制，快速恢复问题