【案例】服务邮政快递业安全监管 星环科技助力国家邮政局“绿盾”大数据平台建设

国家邮政局寄递渠道安全监管“绿盾”工程，旨在打造安全监管“大脑”，建设高质量的安监信息系统。自 2018 年寄递渠道安全监管“绿盾”工程大数据平台建设以来，国家邮政局圆满完成了党的十九大、建国七十周年等多项重大活动，以及“双 11”业务旺季寄递渠道安全服务保障工作，为邮政快递业高质量发展提供了有力支撑。

2019 年 5 月 27 日，邮政业大数据安全监管与公共服务平台荣获“2019 中国政府信息化卓越成就奖”，实现了从揽收、运输、投递到投诉和申诉等各环节全生命周期的数据管控，成为行业监管的“智囊团”、安全的“守护神”。

用户与项目背景

2018 年 2 月，国家发改委批复了邮政寄递渠道安全监管“绿盾”工程建设项目（一期）概算投资，国家邮政局批复了初步设计方案。

“绿盾”工程建设项目（一期）的建设内容主要包括：完善和建设运行监测、安全预警、行政执法、应急指挥、公告服务和决策支持等 6 大业务应用系统，完善和建设云计算、大数据和综合运维等应用支撑系统，健全专业执法手段，并配置便携式执法设备，改造国家邮政局机房，并建设异地灾备中心等。

大数据管理平台是“绿盾”工程的重要建设内容之一，主要为上层应用和邮政监管的海量数据资源提供统一采集、存储、处理、分析和管理的应用支撑平台，为“绿盾”工程建设系统及国家邮政局相关系统提供稳定、高效、先进、安全的基础平台支撑。

国家邮政局邮政寄递渠道安全监管的“绿盾”工程目标就是安全监管更智能，监测预警更有效，规制体系更完善，信息安全有保障，服务支撑更有力。

需求与问题

为实现邮政海量数据资源的采集、存储、治理、处理和分析应用，根据应用需要和实际环境，“绿盾”大数据管理平台项目将基于目前成熟的大数据管理分析技术，进行开发、适配和定制安装，建成邮政管理与服务大数据管理平台。

“绿盾”大数据管理平台应能提供多源异构的数据采集、分布式数据存储管理、实时/离线计算框架等，提供大数据管理、开发和计算的能力，可支撑数据仓库、用户画像、知识图谱、深度学习、文本分析等高级应用的构建。

国家邮政局原有的信息系统，链接众多快递企业、电商平台的线上线下门店、网站和移动端的物流数据，各个应用系统都有自己独立的平台。随着安全监管链接系统的增加，对监管应用和数据类型不断扩大，以及存量数据的不断增长，各系统之间数据管理、性能瓶颈问题已经日益突显，主要表现在以下几个方面：

• 数据存储空间不足；

• 数据孤岛问题严重，业务融合困难；

• 业务系统管理分散，运维复杂，全局视角差。

• 缺乏有效数据安全管控。

• 现有技术架构无法支撑新型的数据类应用等。

解决方案

基于邮政寄递渠道安全监管“绿盾”工程大数据平台建设的需求，星环科技基于自有的大数据平台与技术，为国家邮政局提供了如下的大数据平台技术框架。

数据采集

统一的数据采集满足企业实时海量数据采集任务，提供高并发量、高可靠性的数据采集服务。数据采集模块支持多数据源、大规模并行数据采集，以及可靠故障处理和恢复。

消息队列

消息队列模块是一种高吞吐量的分布式发布订阅消息系统，可以处理消费者规模的网站中的所有动作（如网页浏览、搜索等）流数据。而采用消息队列的目的是通过系统的并行加载机制来统一线上和离线的消息处理，通过集群来提供实时的消息。消息队列服务将采集数据、整理传递至存储模块，进行采集数据管理。

流处理引擎

流式处理引擎向用户提供以时间窗口为单位及事件模式的实时性数据处理编程接口和数据流转换接口，屏蔽底层的分布式任务调度细节，并提供数据流的可靠性、安全性和容错性保障。

计算业务查询库

根据业务的不同需求，提供不同种类的数据库来满足应用需求，既可支持传统的 MapReduce 批处理作业，又提供通用 SQL 接口及开源类 API，支持内存缓存存储、高并发及时查询，为上层页面展示应用，提供计算、机器学习等分布式运算服务。

存储层

存储模块提供一种在计算节点上存储数据的分布式文件系统（TDFS），在集群中提供高的聚合带宽。大数据分布式文件系统在设计上要求节点故障由框架自动处理。存储模块对其他大数据管理平台组件与集群中的其他应用提供数据管理服务，是一个高可靠、高性能、面向列、可伸缩的分布式存储系统，在服务器上搭建起大规模结构化存储集群。

安全认证

大数据在保密性、完整性、可用性等方面面临更大的挑战，需要一个通用的能够清晰描述大数据生态中各安全角色之间关系以及各角色安全活动的安全参考框架。大数据基础平台和上层大数据构成了支撑数据收集、传输、存储、处理和共享等数据活动的分布式应用系统。系统平台安全主要涉及基础设施、网络系统、数据采集、数据存储、数据处理等多层次的安全技术防护。安全防护技术主要包括分布式安全计算、安全存储、数据溯源、密钥服务、细粒度审计等。

平台管理

大数据平台管理包括组件管理、任务监控、组件监控、资源使用情况等，通过平台管理界面，能够监控平台各组件的运行状态，查看资源使用情况，包括分布式存储节点运行情况及资源使用情况，数据处理任务运行状况等。

应用效果与价值

目前国家邮政局“绿盾”工程项目大数据平台已经正式上线运行一年时间，共支撑上线四大主要应用系统，共有节点数百多个，涉及场景流式处理、批处理、及时查询、报表查询等。

“绿盾”工程项目建设了统一的大数据平台，解决了用户原系统各自为政、多平台、数据孤岛的问题，全组件的安全统一配置管理，既解决了用户原开源平台缺乏安全防护的问题，又简化了整个平台的安全管控。Slipstream+AgroDB 实现了流式作业、批处理作业的统一，共用一张结果表，单表的流式入库性能达成 TPS 百万级别，延迟性控制在秒级别内，做到实时查询业务和数仓业务的准实时性，解决了厂商流式处理与批处理一体化的需求。2020 年双十一业务高峰期内，平台运行稳定，做到所有任务零积压。

作为国家发改委重点项目,国家邮政局邮政寄递渠道安全监管“绿盾”工程建设项目接入数据量大，应用场景丰富，辐射面广，在国家层面及政府行业内影响深远。星环科技为项目建设的大数据平台总结的 Slipstream+AgroDB 流批一体化方案，使用 UDTF 多线程的方式在不加大消息队列负载的情况下增大并发度、提高吞吐量方案，通过 Slipstream Studio、Slipstream checkpoint 功能实时监控任务的 TPS、挤压量情况、各时间维度流量方案，以及多用户下全组件安全模式下的权限细分方案等，丰富了 Stuido 在流任务监控上的一些盲点，完善了产品的功能与特性，都是可复用的典型场景方案，具有广泛的行业应用前景。

原文链接：【案例】服务邮政快递业安全监管 星环科技助力国家邮政局“绿盾”大数据平台建设