架构师系列之 5：互联网大数据分析系统架构例子解析

系统架构是为业务服务，是解决业务问题。

以下图为例分析一个数据分析平台的架构。





首先是两个数据：

1. 用户行为数据：浏览历史，收藏，点赞，评价等

2. 业务数据：商品会员交易库存这一方面是业务数据，这些业务数据多数存储在 mysql 数据库里。



用户行为数据埋点系统：

1. 数据发送到flume，实时数据处理 （业务需求为实时展示数据）和查询（利用ES做实时查询）

2. 其中加入一层 实时流队列kafka：第一，走的是消费者模式；第二，里面有位置信息，一旦出现数据错乱可以回补。

3. SparkSteaming 实时数据分析处理供后续的数据展示，导出业务需求。



高级业务需求：

• 推荐，风控这些高级AI业务需求，可以结合埋点数据和业务数据做更多的大数据分析。

比如订单刷单检测功能：模型检测是纯机器的AI算法。



BI系统：

所有BI系统都是在展现层和应用层，展现层可以选择 FineReport、echart、excel，这个根据企业的情况去定义。



Note：原文是云猴网BI总经理王卫东在帆软大数据上的演讲