架构师系列 13 Spark 大数据处理在金融领域中的应用
金融行业里的贷款风险管理,反欺诈(信用卡安全)都是 Spark 应用的主要领域。
除此之外在海量交易数据的实时和批量处理中,Spark 也得到了应用。
其中 Spark Batch 可以处理对实时要求不是非常高的数据。
Spark Streaming 用于处理实时数据流,配合 Kafka 消息队列,以及 HBase 分布式存储等支持金融领域的数据处理及分析。
如下图所示,输入数据源来自各种交易数据入口,Spark Streaming 实时接收数据,并基于 HBase 存储数据进行数据处理,处理后输入存入 HBase 供后续展示。
评论