IOTA 架构实战：大数据即时多维查询引擎构建【视频】

作为数据算法的你是不是遇到这样的情况？

• 挖掘前期80%都是提数、出报表的需求，而很多报表往往只用一次…

• 临时分析众多，不管怎么提前做汇总加速开发，业务部门总觉的慢…

• 临时报表数据口径反复和业务部门核对，最后出的数据还是对不上，“写脚本3分钟，对数3小时”…

• 业务快速变化导致数据源的变化层出不穷，汇总层数据保持准确非常难，数据治理建设不易，维护成本更是高昂…

• 算法大数据工程师每日工作在写各种ETL、数据流脚本，而无法专注在大数据技术上…



近日，易观CTO郭炜在2020AI proCon在线分享了《IOTA架构实战：大数据即时多维查询引擎构建》，郭炜将上述大家面临的困境归因为：



不是数据技术能力不行，而是世界变化太快！



• 数据驱动本身，是一个透明化的进程，挑战是业务变化很快，让数据本身“不透明”：

• 业务变化，数据定义变化快：例如，APP迭代，页面变化

• 数据经过层层加工，原始信息丢失：仓库表繁多，层层血缘关系，牵一发动全身

• 数据处理能力不足，时间滞后：T+1，临时需求 T+N，OLAPCube也无法满足需求

• 想用Ad-hoc查询，但数据量过大：Tb 级别数据普通查询以数十分钟为单位出结果，跟不上算法工程师思路





更多演讲分享内容详情，请看下面视频：