写点什么

数据加工

用户头像
阡陌r
关注
发布于: 2020 年 07 月 14 日
数据加工

数据来源 Oracle数据库

加工工具 oracle存储过程 使用定时任务跑存储过程

展示要求:1、表格展:示明细数据、汇总数据展示

2、可视化(汇总数据)

复盘:

加工规范:1、抽取数据:1)代码表、维度表2)基础表3)其他业务表

2、数据加工:1)业务明细表加工 明细表冗余基础表信息【业务明细表_KZ】

、两个业务明细表合并成一张大表 表名称为 【业务名称_KZ】

2)第一层汇总,直接使用抽取过来的表(注意不是KZ表)按日期、机关等字段汇总 表名称为【业务明细表_HZ_1】,注意:此时的日期字段就不是date类型了,推荐使用number类型,如2020/202007/20200701,好处显而易见,查询时number检索速度快。

3)第二层汇总:如果汇总查询页面没有太多的分组,且第一层汇总后的数据两还是很大,可以考虑第二层汇总。 表名称为【业务明细表_HZ_2】

查询速度:1、之前提到的,日期类型可以转成number类型

2、加工、查询时,如果业务需求不允许将日期类型转成number,则如果前台传入的日期截止是2020-07-07,先+1变成2020-07-08传入 要用to_date<?

3、建索引

加工工具:使用Oracle数据库本身,有3大痛点1)存储过程中的SQL语句与本身写的SQL有所区别2)定时任务没有日志3)无可视化

不知道logstash能不能解决上边的3个痛点



发布于: 2020 年 07 月 14 日阅读数: 219
用户头像

阡陌r

关注

走在阡陌的路上 2018.03.26 加入

走在全栈的路上

评论

发布
暂无评论
数据加工