万亿数据规模下，火山引擎 ByteHouse 助力银行日志数据高效分析

更多技术交流、求职机会，欢迎关注字节跳动数据平台微信公众号，回复【1】进入官方交流群

IDC 发布的《银行数字科技五大趋势》报告显示，截至 2023 年 6 月底，中国手机银行 APP 月活用户数达 5.1 亿。如今，人们通过手机银行可以随时随地进行金融操作，无需前往银行网点，极大地提高了金融服务的便捷性和效率。

从日常消费支付到资金管理、投资理财等，越来越多人开始高频、深入使用银行业务，这也对银行数据系统造成极大挑战。一方面，银行业务结构复杂，数据体量大、来源多，不同的业务系统产生的数据格式不同，导致数据管理成本高；另一方面，业务发展带来日志数据体量激增，对银行数据系统高并发、高吞吐的要求也进一步提升。

某银行底层的数据系统涉及储蓄、信用卡、贷款等多个业务系统，每日产生大量客户交易日志，包括文本格式、数据库等多种格式。为了更好为客户提供定制化服务，银行内部需要根据日志进行多维数据分析，了解客户行为模式和特征，但现有系统从性能、易用性等方面无法支持这种复杂、灵活的分析场景。

作为一款云原生数据仓库，火山引擎 ByteHouse 因其在大规模数据下强大的复杂查询能力进入该银行的视野。

ByteHouse 支撑海量的实时数据分析和数据离线分析，同时具备极强的弹性扩缩容能力、极致分析性能和丰富的企业级能力，对内已经服务大量数据分析场景，对外也已在多个金融场景落地。

ByteHouse 解决方案

首先，依托于 ByteHouse 存储引擎的能力，该银行能将所有日志数据统一汇总存放，避免日志数据孤岛，降低维护成本，提升运营效率。其次，针对高吞吐的要求，ByteHouse 支持单点高吞吐量写入，其分布式架构特性进一步让写入能力线性提升；最后，为了解决数据格式杂乱的问题，ByteHouse 采用 Map 数据类型对接，在保障写入及查询性能不降低的同时，更灵活应对日志这类数据结构。

除此之外，在性能方面，ByteHouse 支持实时分析，在复杂查询下能提供快速响应，并具备良好的可扩展性。比如在点查场景中，该银行系统存在响应时间慢等情况，ByteHouse 则通过采用短链路的执行方式、建立 unique table 点查索引、提升读链路效率等方式进行优化。

引入 ByteHouse 有效解决了实时运营数据入库瓶颈和延迟的问题，实现了万亿数据规模下的真实数据分析，在该银行的某些营销活动场景中，实现预测数据 5 秒内推送，保障运营人员第一时间获取信息，并调整策略。

银行数字化转型不断加速，从基础业务、风险评估、趋势分析到精准营销，对数据处理和分析的需求越来越强。未来，ByteHouse 也会持续为银行等金融领域提供高性能、高可用的分析服务，助推数据价值进一步释放。