鹰角网络基于阿里云 EMR Serverless StarRocks 的实时分析工程实践

一、客户背景与业务挑战

1.1 客户介绍

鹰角网络（HYPERGRYPH） 成立于 2017 年，总部位于上海，是中国知名游戏研发与发行公司，代表产品包括现象级手游《明日方舟》及《泡姆泡姆》《来自星辰》《终末地》等。公司依托阿里云构建数据平台，支撑游戏运营、社区生态及用户行为分析等核心业务，数据规模与实时性需求持续增长。

1.2 业务特征

• 目前实时业务主要涉及日志分析，广告归因，社区运营，审核等

• 账号日志分析：涉及用户注册、登录、订单等明细数据的查询。

• 广告归因：探查用户的新增和回流是否由某条广告导致。

• 社区运营：实时流水、新增活跃等统计信息。

• 审核：黑产、账号封禁等数据分析。

1.3 原有架构痛点

原有架构是基于 ClickHouse 构建的实时数仓，存在以下瓶颈：

1. 运维复杂度高：动态扩缩容操作繁琐，集群稳定性受负载波动影响显著；

2. 导入性能不足：高频实时写入场景下吞吐量受限，难以支撑高 QPS 需求；

3. 数据一致性风险：分布式表缺乏事务保证，查询可能因节点延迟导致结果偏差；

4. 计算模型局限：Scatter-Gather 架构不支持 Shuffle Join 等复杂查询操作；

5. 元数据稳定性差：ZooKeeper 维护的元数据在高负载下易引发服务抖动。

二、技术方案设计

2.1 方案目标

构建高性能、高弹性、易运维的实时分析平台，需要满足以下业务诉求：

• 实时性：毫秒级查询响应与秒级数据写入

• 弹性扩展：动态适配业务流量波动（如游戏开服、活动峰值）

• 稳定性：消除集群负载抖动与数据一致性风险

• 兼容性：无缝衔接现有工具链与开发习惯

2.2 架构设计

整体架构图

实时数仓架构

1、OLTP 源库

1. • MySQL 等业务数据库，产生行级变更。

2、Extract（采集）

1. • Debezium / Kafka-Connect 做 CDC，把 Binlog 转为 事件流。

2. • 写入 Kafka，完成缓冲与解耦。

3、Transform（实时计算）

1. • Flink 从 Kafka 读取，进行清洗、JOIN、聚合，生成事实/维度结果流。

4、Load & Query（StarRocks）

1. • StarRocks 负责列式存储 + 高并发 OLAP 查询，直接服务 BI、报表、自动查询工具和 API

三、迁移成效与价值

3.1 技术层面

• 性能提升：

• 核心查询响应时间缩短 30%以上，复杂广告归因分析从分钟级降至秒级；

• 高峰期 QPS 承载能力提升 5 倍，支撑夏活活动期间百万级并发请求；

• 稳定性增强：

• 集群负载波动率降低 40%，彻底解决 ClickHouse 的节点延迟问题；

• 99.99% SLA 保障，故障恢复时间（MTTR）缩短至分钟级；

• 运维效率：

• 无感扩缩容操作，开服期间资源伸缩成功率 100%；

• 自动化监控覆盖主要异常场景，人工干预减少 70%。

3.2 财务层面

• 成本优化：

• 相比 ClickHouse 集群，同等负载下硬件成本下降 22%，CU 单价性价比提升显著；

• Serverless 模式按需付费，避免资源闲置浪费。

3.3 业务层面

• 开发效率提升：

• MySQL 协议兼容性减少适配成本，SQL 语法更贴近业务直觉；

• 内置函数库覆盖 90%业务场景，UDF 开发效率提升 50%；

• 生态适配性：

• 开源社区活跃度高，相比于原有的 Clickhouse，StarRocks 对于关键 Bug 修复与新特性迭代周期缩短。

四、未来规划

1. 存算分离架构：探索迁移至存算分离实例，降低冷热数据存储成本；_欢迎使用_存算分离版实例
   

2. 权限管理强化：引入 Ranger 实现细粒度访问控制，满足合规要求；

3. 多模态分析：逐步迁移原有 ElasticSearch 业务，整合全文检索与结构化查询能力。

五、总结

通过与阿里云 EMR Serverless StarRocks 的深度合作，鹰角网络成功构建了兼具高性能、高弹性、易运维的实时分析平台，为游戏业务的精细化运营与用户洞察提供了坚实支撑。未来，双方将持续探索技术边界，推动实时数据价值释放，助力企业在游戏行业竞争中保持技术领先优势。

相关文档：

1. 迁移ClickHouse数据到StarRocks的最佳实践

2. 基于EMR Serverless StarRocks构建分钟级准实时分析

3. 快速使用EMR Serverless StarRocks 存算分离版实例