【遇见 Doris】寒冷冬日的一次温暖相聚 · Doris 开发者沙龙

关注

发布于: 2021 年 03 月 24 日

2019 年 12 月 22 日，Doris 本年度最后一场线下沙龙在百度大厦顺利举办。本次邀请了来自美团、京东、百度的技术大牛来分享实战经验，快来跟随小编一起回顾吧！

获取嘉宾 ppt 请关注 Apache Doris(incubating) 官方公众号，并回复 1222， 现场视频会在近日放出，敬请期待。

Apache Doris (incubating) 0.12.0

此次沙龙由 Doris 主创团队的黄康平带来了 Doris 0.12.0 的新版本预览。

在新的版本中，Doris 实现了基于 page 的列式数据存储，引入行号索引、词典压缩、page cache 机制。 存储效率和读写性能又双叒叕提升啦，期待不期待！

不仅如此，一直备受关注的 Spark on Doris 功能也将在这个版本中和大家见面。打通 Doris 和 Spark/Hadoop 社区生态，势在必行！

美团点评 · 基于 Bitmap 的精确去重和用户分析

来自 美团点评 的 Doris Committer 康凯森 带来了 Doris 基于 Bitmap 的精确去重和用户行为分析。

凯森提到，随着数据规模及实时性的提升，我们应该优先考虑近似算法，但与财务、业绩等相关的业务必须要求精确。而基于 Bitmap，可以使精确去重更加高效。

同时，凯森也带来了基于 Bitmap 计算交集，以高效支撑用户行为中的留存、画像及漏斗分析的相关分享。

京东 · Apache Doris 在京东 11.11 的实践

来自京东的 Doris Contributor 刘航源 带来了双 11 的捷报。此次 Doris 在京东双 11 大促阶段服务非常稳定。 双 11 当天 24 小时内支撑了平时 100 倍以上的原始数据导入，均可做到秒级延迟。

同时，京东仅仅使用了 40 台 16 核的 Docker ，支撑了 每天 8000 万以上的查询 。TP99 达到 58ms，TP999 达到 164ms。

不仅如此，京东研发了 WebServer 的功能，并准备贡献给社区，大家一起来期待一下～

百度 · 百度商业大规模服务全链路监控

来自百度的 李奇原 带来了 Doris 在百度商业大规模微服务全链路监控系统——凤睛项目中的应用。

凤睛是百度凤巢的监控系统。凤巢的产品线繁多，关系复杂，而凤睛需要通过 7*24 小时的工作，来自动化完成所有的监控分析任务。稳定，高效，是凤睛最重要的要求。

基于 Doris 设计的倒入和存储方案，凤睛在 2019 年的数据倒入量达到 150 亿/天，峰值流量 300 万条/s，峰值流量 50M/s，存储总量 300T。且大大降低了人力运维成本。

Spark on Doris · 基于百度数据工厂 Pingo

来自百度数据工厂 Pingo 团队的 张文歆带来了 Sp ark on Doris 的技术方案，他同时也是 Doris 的 Contributor 。

Pingo 是基于 Spark 的数据工厂，秉承着数据湖的概念，在百度内提供离线的计算服务，同时在公有云及私有化场景下服务了众多外部客户。解决组件繁多、运维复杂、对接困难、认证鉴权等问题，是 Pingo 的初衷。

为了更好的对接更多数据源，同时也为了 Doris 能够更好地和 Spark 生态融合，Spark on Doris 势在必行，文歆详细介绍了技术方案的实现。

新一代的数据科学 · Jarvis

最后，给所有来宾带来了一个小彩蛋。由百度数据科学团队的资深专家杨嘉义，分享了数据科学领域最新的探索。当云计算越来越普及，当单机计算存储不再是瓶颈，数据科学领域是否会有新的方向？

嘉义提到，预置的解决方案、易用的开发环境、高性能的计算引擎是新一代数据科学平台的核心。基于这些核心打造的数据科学平台 Jarvis，致力于在单机引擎上带给数据科学家极致的开发体验。

祝愿 Doris 社区越来越繁荣，有更多新伙伴加入我们！

获取嘉宾 ppt 请关注 Apache Doris(incubating) 官方公众号，并回复 1222，现场视频会在近日放出，敬请期待。

欢迎扫码关注：

Apache Doris(incubating)官方公众号

关注

还未添加个人签名 2021.03.17 加入

Doris（原百度Palo https://cloud.baidu.com/product/palo.html ）是一款基于大规模并行处理技术的分布式 SQL 数据仓库，由百度在2017年开源，2018年进入 Apache 孵化器

发布

暂无评论

评论