IOTA 架构实战:大数据即时多维查询引擎构建【视频】

用户头像
易观大数据
关注
发布于: 2020 年 07 月 08 日
IOTA架构实战:大数据即时多维查询引擎构建【视频】

作为数据算法的你是不是遇到这样的情况?

  • 挖掘前期80%都是提数、出报表的需求,而很多报表往往只用一次…

  • 临时分析众多,不管怎么提前做汇总加速开发,业务部门总觉的慢…

  • 临时报表数据口径反复和业务部门核对,最后出的数据还是对不上,“写脚本3分钟,对数3小时”…

  • 业务快速变化导致数据源的变化层出不穷,汇总层数据保持准确非常难,数据治理建设不易,维护成本更是高昂…

  • 算法大数据工程师每日工作在写各种ETL、数据流脚本,而无法专注在大数据技术上…



近日,易观CTO郭炜在2020AI proCon在线分享了《IOTA架构实战:大数据即时多维查询引擎构建》,郭炜将上述大家面临的困境归因为:



不是数据技术能力不行,而是世界变化太快!



  • 数据驱动本身,是一个透明化的进程,挑战是业务变化很快,让数据本身“不透明”:

  • 业务变化,数据定义变化快:例如,APP迭代,页面变化

  • 数据经过层层加工,原始信息丢失:仓库表繁多,层层血缘关系,牵一发动全身

  • 数据处理能力不足,时间滞后:T+1,临时需求 T+N,OLAPCube也无法满足需求

  • 想用Ad-hoc查询,但数据量过大:Tb 级别数据普通查询以数十分钟为单位出结果,跟不上算法工程师思路





更多演讲分享内容详情,请看下面视频:





发布于: 2020 年 07 月 08 日 阅读数: 39
用户头像

易观大数据

关注

还未添加个人签名 2020.07.02 加入

数据智能产品和平台提供商;智能用户运营,就用易观方舟

评论

发布
暂无评论
IOTA架构实战:大数据即时多维查询引擎构建【视频】