写点什么

架构师系列 13 Spark 大数据处理在金融领域中的应用

用户头像
桃花原记
关注
发布于: 2021 年 01 月 10 日

金融行业里的贷款风险管理,反欺诈(信用卡安全)都是 Spark 应用的主要领域。


除此之外在海量交易数据的实时和批量处理中,Spark 也得到了应用。

  • 其中 Spark Batch 可以处理对实时要求不是非常高的数据。

  • Spark Streaming 用于处理实时数据流,配合 Kafka 消息队列,以及 HBase 分布式存储等支持金融领域的数据处理及分析。


如下图所示,输入数据源来自各种交易数据入口,Spark Streaming 实时接收数据,并基于 HBase 存储数据进行数据处理,处理后输入存入 HBase 供后续展示。



用户头像

桃花原记

关注

还未添加个人签名 2018.11.24 加入

还未添加个人简介

评论

发布
暂无评论
架构师系列 13 Spark 大数据处理在金融领域中的应用