StarRocks Summit Asia 2022 圆满闭幕,极速统一 3.0 时代开启
在金融、零售、物流、智能制造等行业,传统的“隔日”数据分析模式跟不上业务迭代的速度。
原有数据架构即便做了局部修补和创新,企业用户还是不得不用多个数据库才能满足需求。
经营效率难以提升,管理成本水涨船高。
基于“极速统一”的数据分析新范式,打造新一代极速全场景 MPP 数据库,面向复杂查询、高并发、实时分析等各类场景达成数据价值的最大化,创造更大的业务成就。这是 StarRocks 创建的初衷。
9 月 24 日,年度盛典 StarRocks Summit Asia 2022 举行,40 多位社区成员、生态伙伴和行业专家出席分享。本次大会上,StarRocks 社区首次全方位解析 StarRocks 功法秘笈,并正式发布 StarRocks 极速数据湖分析,开启了极速统一 3.0 时代。
#01
极速统一 3.0:从 OLAP 到湖仓
为了给用户提供更快、更灵活、更实时的分析体验,过去一年, StarRocks 不断打磨产品的功能、性能、稳定性,修改了 80 多万行代码,发布了近 50 个版本。
一年前,StarRocks 社区以 Primary Key 为象征开启了极速统一 2.0 时代,从此用户能够通过 StarRocks 同时进行实时数据和历史数据的分析。
本次大会上,StarRocks PMC Chair 赵纯代表社区正式发布极速统一 3.0,让用户能够在 StarRocks 上同时进行极速分析与极速数据湖分析。
1、极速 OLAP
经过一年的打磨,StarRocks 在 SSB 单表、SSB 多表、TPC-H 三个标准测试集下,相比于去年同期,性能提升 50%-80%。
在物化视图、资源隔离、Query Cache、自动化数据分布、导入优化等各个核心功能均有重大突破。
2、极速数据湖分析
StarRocks 认为,极速数据湖分析就是为用户提供性能堪比数据仓库的数据湖分析。
从整个架构层面可以看到,当前 StarRocks 的数据湖分析已经具备了存算分离、弹性伸缩的能力。在存储层,数据支持按照 Apache Hive、 Apache Iceberg、 Apache Hudi 等主流表格式维护在对象存储之上。在计算层, 从查询生命周期来说,StarRocks 的无状态计算节点 compute node,已经可以负责从扫描到聚合的全部计算任务;当前 StarRocks 已经可以部署在 k8s 之上,感知系统负载并进行灵活的资源调度与节点伸缩,无需数据迁移,更好支持资源峰谷场景。在控制层,FE 统一接入各类主流数据湖的元数据,并对湖上查询请求进行统一调度和规划。
StarsRocks 在数据湖的工作主要分为四个维度:更开箱即用的数据接入模式,性能更加极致的分析体验,更灵活的弹性,更自由的数据分析方式。如今,用户通过 StarRocks 进行数据湖分析,一方面,能够享受存算分离、弹性伸缩等前沿技术带来的降本增效,另一方面,无需数据导入即可享受到堪比数仓分析的极速性能体验,更加敏捷地从数据湖中获取灵感和洞见,驱动业务增长。
(SSB Benchmark 场景下,StarRocks 湖分析的性能 VS 导入 StarRocks 后分析的性能)
3、云原生进行时
当前,业界主流的云原生数据仓库尚不能完全解决实时问题。
赵纯表示,StarRocks 正在坚定不移地向云原生方向努力,计划在不久的将来为用户带来云原生版本的极速统一分析体验。
在新的云原生架构支持下,StarRocks 会提供完全的存算分离方案来降低存储成本、提升计算弹性,支持多租户的资源隔离和数据共享能力,企业可以根据业务负载变化,灵活调整计算资源的使用,进一步降低计算资源的成本。
#02
新范式的共建
身处技术创新驱动的时代,只有开放协作才能带来巨大进步,创造非凡成就。
分布全球各地的用户和开发者、深入行业难题的商业力量、头部云计算厂商……各种角色的参与和共建让 StarRocks 社区不断成长壮大,助力极速统一的数据分析新范式赋能更多场景。
1、携手多“云”打造新一代数据架构
作为新一代数据架构的创新者,阿里云开源大数据团队深度参与 StarRocks 社区共建,在支持 Apache Hive/Apache Iceberg/Apache Hudi 数据源的全新 Connector 框架、异步 CTAS 等功能、主键模型增强、统一导入模型等方面已贡献代码数万行。
阿里云计算平台事业部产品解决方案总经理陈立在大会分享中表示:StarRocks 是阿里云在数据湖 3.0 云原生化、弹性化、实时化的重要产品之一。
如今,在 Lakehouse 分析场景下,通过 StarRocks 全面的向量化执行引擎优势、更智能的优化器,阿里云在 TPC-H 100G 的性能提升了 3-10 倍,给用户带来了更加强大的分析能力。
Lakehouse 是 StarRocks 的目标,也是联合阿里云、腾讯云等合作伙伴开展合作的立足点。就在今年 5 月,阿里云 EMR、腾讯云 EMR 都发布了云上 StarRocks 产品,与社区合作打造出了高可用、低成本的极速统一分析服务。
腾讯云 EMR 业务负责人陈龙在会上表示:双方通过共建极速统一的云上 Lakehouse,正在让各行各业客户的数据分析提质加速。
如今,腾讯云用户无需将数据导入到 StarRocks 中,直接利用 StarRocks 来查询数据湖数据,无需构建昂贵的数仓,即可实现亚秒级的查询速度,统一分析离线和实时数据,全面发挥湖仓架构的潜在优势。
2、开源世界驶出“镜舟”
以人为镜,以梦为舟。
天地间的创新,正发生于开放分享的社区共同体,商业力量的参与让社区项目达到了新的高度。
目前已经有数家公司基于 StarRocks 开发出了企业级产品,致力于解决企业数字化转型最后一公里难题的镜舟就是其一。
镜舟科技 CEO 孙文现表示,有了镜舟数据库,客户有望随时随地、随心随欲地使用数据,不再担心数据源不统一、维度多了速度慢、一线分析师无法做复杂查询、相关产品之间不能兼容等问题。
借助专业团队与客户的深耕实践,镜舟主要洞察了金融、零售、制造、物流、电商、游戏、汽车出行、泛互联网等八大行业。接下来,镜舟将进一步向各大行业进行完善和打磨产品,提供更优质的解决方案、服务能力和更完善的产品能力。
3、与用户共创价值、看见未来
本次大会上,华润万家、OPPO、中原银行、众安保险、京东物流、百草味等 30 多位重磅的企业级用户轮番上场,深入解析了金融、新经济、互联网等行业的最佳实践和发展趋势。
作为首度亮相 StarRocks 社区的银行业用户,中原银行吸引了不少关注。拥有 18 家分行、750 个营业网点,资产总额超过 1.2 万亿,洞悉数据分析趋势、又快又稳地应对当前挑战,是中原银行大数据工作的重中之重。
面向未来,中原银行数据信息部副总经理刘远东认为,一个卓越的分析型数据库需要满足四点:一,有完整的上下游生态,从上游的数据接入到下游的可视化,整体生态构建成熟;二,有一定的智能化增强,通过 AI 的能力自动优化数据库参数;三,技术栈相对简洁,方便融入企业架构;四,成本和性能达到较好的均衡。
与用户和开发者共创价值是 StarRocks 社区成立的初心,也是 StarRocks 面向未来的努力方向。最近一年,StarRocks 在全球增加了 7000 多名用户,助力超过 170 家大型用户构建了全新的数据分析能力。
知行合一的数据库之路,得幸于专业技术人的洞见和贡献,方能不断进化、赋能用户。感谢各位大会嘉宾的共同建设和开放分享!
大咖交锋、最佳实践等更多峰会精彩内容,
敬请关注 StarRocks 公众号,即将陆续放送!
关于 StarRocks
StarRocks 创立两年多来,一直专注打造世界顶级的新一代极速全场景 MPP 数据库,帮助企业建立“极速统一”的数据分析新范式,助力企业全面数字化经营。
当前已经帮助腾讯、携程、顺丰、Airbnb 、滴滴、京东、众安保险等超过 170 家大型用户构建了全新的数据分析能力,生产环境中稳定运行的 StarRocks 服务器数目达数千台。
2021 年 9 月,StarRocks 源代码开放,在 GitHub 上的星数已超过 3200 个。StarRocks 的全球社区飞速成长,至今已有超百位贡献者,社群用户突破 7000 人,吸引几十家国内外行业头部企业参与共建。
评论