数据加工

数据来源 Oracle数据库

加工工具 oracle存储过程 使用定时任务跑存储过程

展示要求：1、表格展：示明细数据、汇总数据展示

2、可视化（汇总数据）

复盘：

加工规范：1、抽取数据：1）代码表、维度表2）基础表3）其他业务表

2、数据加工：1）业务明细表加工 明细表冗余基础表信息【业务明细表_KZ】

、两个业务明细表合并成一张大表 表名称为 【业务名称_KZ】

2）第一层汇总，直接使用抽取过来的表（注意不是KZ表）按日期、机关等字段汇总 表名称为【业务明细表_HZ_1】，注意：此时的日期字段就不是date类型了，推荐使用number类型，如2020/202007/20200701，好处显而易见，查询时number检索速度快。

3）第二层汇总：如果汇总查询页面没有太多的分组，且第一层汇总后的数据两还是很大，可以考虑第二层汇总。 表名称为【业务明细表_HZ_2】

查询速度：1、之前提到的，日期类型可以转成number类型

2、加工、查询时，如果业务需求不允许将日期类型转成number，则如果前台传入的日期截止是2020-07-07，先+1变成2020-07-08传入 要用to_date<？

3、建索引

加工工具：使用Oracle数据库本身，有3大痛点1）存储过程中的SQL语句与本身写的SQL有所区别2）定时任务没有日志3）无可视化

不知道logstash能不能解决上边的3个痛点