【遇见 Doris】寒冷冬日的一次温暖相聚 · Doris 开发者沙龙
2019 年 12 月 22 日,Doris 本年度最后一场线下沙龙在百度大厦顺利举办。本次邀请了来自美团、京东、百度的技术大牛来分享实战经验,快来跟随小编一起回顾吧!
![](https://static001.geekbang.org/infoq/0c/0c0a520ef142783183cd440f02394029.jpeg?x-oss-process=image/resize,p_80/auto-orient,1)
获取嘉宾 ppt 请关注 Apache Doris(incubating) 官方公众号,并回复 1222, 现场视频会在近日放出,敬请期待。
Apache Doris (incubating) 0.12.0
此次沙龙由 Doris 主创团队的黄康平带来了 Doris 0.12.0 的新版本预览。
![](https://static001.geekbang.org/infoq/fe/fe38219e92c6c81080d40438e787228b.jpeg?x-oss-process=image/resize,p_80/auto-orient,1)
在新的版本中,Doris 实现了基于 page 的列式数据存储,引入行号索引、词典压缩、page cache 机制。 存储效率和读写性能又双叒叕提升啦,期待不期待!
不仅如此,一直备受关注的 Spark on Doris 功能也将在这个版本中和大家见面。打通 Doris 和 Spark/Hadoop 社区生态,势在必行!
美团点评 · 基于 Bitmap 的精确去重和用户分析
来自 美团点评 的 Doris Committer 康凯森 带来了 Doris 基于 Bitmap 的精确去重和用户行为分析。
![](https://static001.geekbang.org/infoq/3a/3a0a96400d864903aeb9661053e187a5.jpeg?x-oss-process=image/resize,p_80/auto-orient,1)
凯森提到,随着数据规模及实时性的提升,我们应该优先考虑近似算法,但与财务、业绩等相关的业务必须要求精确。而基于 Bitmap,可以使精确去重更加高效。
同时,凯森也带来了基于 Bitmap 计算交集,以高效支撑用户行为中的留存、画像及漏斗分析的相关分享。
京东 · Apache Doris 在京东 11.11 的实践
来自 京东 的 Doris Contributor 刘航源 带来了双 11 的捷报。此次 Doris 在京东双 11 大促阶段服务非常稳定。 双 11 当天 24 小时内支撑了平时 100 倍以上的原始数据导入,均可做到秒级延迟。
![](https://static001.geekbang.org/infoq/fc/fcda710b4380c14669fb7fdad15b1dca.jpeg?x-oss-process=image/resize,p_80/auto-orient,1)
同时,京东仅仅使用了 40 台 16 核的 Docker ,支撑了 每天 8000 万以上的查询 。TP99 达到 58ms,TP999 达到 164ms。
不仅如此,京东研发了 WebServer 的功能,并准备贡献给社区,大家一起来期待一下~
百度 · 百度商业大规模服务全链路监控
来自 百度 的 李奇原 带来了 Doris 在百度商业大规模微服务全链路监控系统——凤睛项目中的应用。
![](https://static001.geekbang.org/infoq/2d/2d153b6fbbb4e4ababdeebe316e85ed9.jpeg?x-oss-process=image/resize,p_80/auto-orient,1)
凤睛是百度凤巢的监控系统。凤巢的产品线繁多,关系复杂,而凤睛需要通过 7*24 小时的工作,来自动化完成所有的监控分析任务。稳定,高效,是凤睛最重要的要求。
基于 Doris 设计的倒入和存储方案,凤睛在 2019 年的数据倒入量达到 150 亿/天,峰值流量 300 万条/s,峰值流量 50M/s,存储总量 300T。且大大降低了人力运维成本。
Spark on Doris · 基于百度数据工厂 Pingo
来自百度数据工厂 Pingo 团队的 张文歆带来了 Sp ark on Doris 的技术方案,他同时也是 Doris 的 Contributor 。
![](https://static001.geekbang.org/infoq/1c/1c9f173d3829fb87f1d08c6cf85d78dc.jpeg?x-oss-process=image/resize,p_80/auto-orient,1)
Pingo 是基于 Spark 的数据工厂,秉承着数据湖的概念,在百度内提供离线的计算服务,同时在公有云及私有化场景下服务了众多外部客户。解决组件繁多、运维复杂、对接困难、认证鉴权等问题,是 Pingo 的初衷。
为了更好的对接更多数据源,同时也为了 Doris 能够更好地和 Spark 生态融合,Spark on Doris 势在必行,文歆详细介绍了技术方案的实现。
新一代的数据科学 · Jarvis
最后,给所有来宾带来了一个小彩蛋。由百度数据科学团队的资深专家杨嘉义,分享了数据科学领域最新的探索。当云计算越来越普及,当单机计算存储不再是瓶颈,数据科学领域是否会有新的方向?
![](https://static001.geekbang.org/infoq/58/58878c6c743f76d110898110155d53d1.jpeg?x-oss-process=image/resize,p_80/auto-orient,1)
嘉义提到,预置的解决方案、易用的开发环境、高性能的计算引擎是新一代数据科学平台的核心。基于这些核心打造的数据科学平台 Jarvis,致力于在单机引擎上带给数据科学家极致的开发体验。
![](https://static001.geekbang.org/infoq/58/58dcd1bb75c986287c375e771dc09a23.gif)
![](https://static001.geekbang.org/infoq/b6/b69cc45b95810a5e17328f7aabcada7f.jpeg?x-oss-process=image/resize,p_80/auto-orient,1)
祝愿 Doris 社区越来越繁荣,有更多新伙伴加入我们!
获取嘉宾 ppt 请关注 Apache Doris(incubating) 官方公众号,并回复 1222,现场视频会在近日放出,敬请期待。
欢迎扫码关注:
![](https://static001.geekbang.org/infoq/d4/d406381d78756ae10018ca83a2653a43.jpeg?x-oss-process=image/resize,p_80/auto-orient,1)
Apache Doris(incubating)官方公众号
相关链接:
Apache Doris 官方网站:
http://doris.incubator.apache.org
Apache Doris Github:
https://github.com/apache/incubator-doris
Apache Doris Wiki:
https://github.com/apache/incubator-doris/wiki
Apache Doris 开发者邮件组:
dev@doris.apache.org
版权声明: 本文为 InfoQ 作者【ApacheDoris】的原创文章。
原文链接:【http://xie.infoq.cn/article/15b5eaeecdf15ffd5d9815df0】。文章转载请联系作者。
评论