写点什么

大数据解答 (一)

用户头像
dony.zhang
关注
发布于: 2020 年 09 月 02 日
大数据解答(一)

在你所在的公司(行业、领域),正在用大数据处理哪些业务?可以用大数据实现哪些价值?

目前所在公司是互联网金融行业,主要业务覆盖支付、理财、贷款等互联网金融服务。大数据应用主要以下几方面:

一、系统运维

通过对基础设施、中间件、系统应用的日志收集、分析、可视化,可实现系统自动化运维,也对系统的可用性、性能有了数据的度量。可极大提升系统的稳定性、性能、容量规划、系统告警等运维能力。



具体应用包含:

i) 监控平台:基础设施监控、应用监控、调用链监控、日志统计分析、配置变更监控、告警中心、统计报表

ii)智能化运维平台:智能故障根因分析、自动治愈、智能告警、态势感知



二、产品&业务运营支撑

通过收集用户会员、用户行为、业务运行等相关日志,进行分析,完成各种业务分析报表、用户行为的分析、会员属性分析。为后期的产品设计、运营、决策提供数据支撑,还能为后续的个人化营销、智能推荐提供基础数据支持。具体应用包含:



i) 各业务BI数据报表:为各产品、业务提供各种纬度的数据分析报表

ii) 用户行为分析平台:提供行为分析、事件分析、漏洞分析、转化率分析、错误码分析

iii) 会员标签:会员客群、离线/实时会员标签



三、产品&服务技术支撑

利用大数据、人工智能等技术,实现个人性营销、风险控制、安全认证、OCR识别等功能,极大提升服务/产品的营销、安全、用户体验的能力。具体应用包含:



i) 推荐系统:通过离线、实时的数据分析,实现会员的个性化营销、智能推荐能力

ii) 智能风控:通过收集设备、会员、用户行为等信息,应用合理的风控模型,可实时对会员提供风险控制 能力

iii) 刷脸认证:通过刷脸认证能力,可实现快速、安全的登录、身份验证

iv) 银行卡识别:通过离线训练模型,再实时识别银行卡,为用户提升了安全和用户体验



分析如下 HiveQL,生成的 MapReduce 执行程序,map 函数输入是什么?输出是什么,reduce 函数输入是什么?输出是什么?

INSERT OVERWRITE TABLE pv_users
SELECT pv.pageid, u.age
FROM page_view pv
JOIN user u
ON (pv.userid = u.userid);

Page_view 表和 user 表结构与数据示例如下:

Map函数
  • 输入key

偏移量,一般不关注

  • 输入value

page_view、user两个表记录的文本



  • 输出key

各表中行记录的userid取值,比如:page_view表中111, 111, 222 user表中111, 222

  • 输出value

需取出的字段的对应行数据<表编号, 对应字段取值>,比如:page_view表中<1, 1>,<1, 2>,<1, 1> user表中<2, 25>, <2, 32>



Reduce函数

通过MapReduce Shuffle处理后,相同的partition归集到一起,交给一个或多个reduce函数进行处理

  • 输入key

Map函数中输出的对应key进行聚合并分类,把相同的key放在一起,比如:111, 222

  • 输入value

Map函数中输出的对应key的value值,比如:111对应有<1, 1>, <1, 2>, <2, 25> 222对应有<1, 1>, <2, 32>



  • 输出key

需统计字段的表中记录,比如:行记录中pageid字段 1, 2, 1

  • 输出value

join后记录中对应值,比如:age值 25, 25, 32

发布于: 2020 年 09 月 02 日阅读数: 50
用户头像

dony.zhang

关注

专注成就专业 2018.07.06 加入

程序员

评论

发布
暂无评论
大数据解答(一)