写点什么

效率跃升 16 倍!火山引擎 ByteHouse 助力销售数据平台复杂查询效率大幅提高

  • 2024-09-02
    浙江
  • 本文字数:818 字

    阅读完需:约 3 分钟

效率跃升16倍!火山引擎ByteHouse助力销售数据平台复杂查询效率大幅提高

更多技术交流、求职机会,欢迎关注字节跳动数据平台微信公众号回复【1】进入官方交流群。


销售数据,是反映市场趋势、消费者行为以及产品表现的重要指标,也是企业做出精准决策的关键依据。因此,对销售数据进行全面利用、高效分析与合规管理,在企业经营中占据着重要地位。


为了更高效、安全地使用销售数据,某公司引入了开源 ClickHouse 作为数据分析引擎,将分散的销售数据统一到一套可视化分析平台中,并采用鉴权 ACL 模式来精细化管理企业内部员工的看数、用数权限。


但实际上,该公司销售数据平台在引入鉴权 ACL 后,出现了性能不足、用户体验受损的状况。其一,ClikHouse 的性能难以满足复杂且量级巨大的查询需求,使得集群复杂恶化;其二,ClickHouse 集群的 CPU 使用率长期处于打满状态对用户体验造成影响。


为了解决以上问题,在复杂查询领域具备显著优势且完全兼容 ClickHouse 的 ByteHouse 成为该公司迁移首选。


据了解,ByteHouse 支持优化器和 MPP 执行模型,能够较好地支持复杂 join 与聚合计算的场景。其中,ByteHouse 的优化器在 RBO 与 CBO 方向上分别进行了大量的自研优化,并且实现了动态 Filter 下推、物化视图改写、计划复用以及结果复用等高阶能力。从而能够根据表的结构、索引等信息生成最优的查询执行计划,提高查询执行效率,减少资源消耗,整体上提升了 ByteHouse 在复杂场景下的查询性能。


在 ByteHouse 的支持下,目前该公司在销售数据的非 ACL 查询和 ACL 查询两个方向上,都实现了查询效率的显著提升。以 ACL 查询的 60M 广告客户 DI 场景为例,查询效率已经从从优化前的 16 秒大幅缩短至如今的 1 秒,效率提升高达 16 倍。


抽取该公司销售平台某数据集测试结果


作为新一代云原生数仓产品,ByteHouse 在离线、在线复杂分析性能、便捷弹性扩缩容、全场景分析引擎等核心能力上持续优化,并已在互联网、游戏、金融、气象等领域广泛应用。未来,ByteHouse 持续以卓越的数据分析能力,为更多业务系统赋能,助力企业数智化转型升级。


点击跳转 火山引擎云原生数据仓库ByteHouse 了解更多。

发布于: 刚刚阅读数: 5
用户头像

小助手微信号:Bytedance-data 2021-12-29 加入

字节跳动数据平台团队,赋能字节跳动各业务线,对内支持字节绝大多数业务线,对外发布了火山引擎品牌下的数据智能产品,服务行业企业客户。关注微信公众号:字节跳动数据平台(ID:byte-dataplatform)了解更多

评论

发布
暂无评论
效率跃升16倍!火山引擎ByteHouse助力销售数据平台复杂查询效率大幅提高_数据库_字节跳动数据平台_InfoQ写作社区