近年来，随着金融形式的不断发展，金融机构为应对市场变化加快了金融创新的步伐。同时，监管机构对金融机构的监管力度和范围也随之加强，数据报送从统计型指标数据到主题型业务数据、再到明细型业务数据的趋势越来越明显。
面对严监管态势下，日益增多的监管报送内容以及频繁升级的监管制度,对金融机构的数据报送范围、数据质量、数据校验、系统建设等提出了更高要求。如何降本增效，实现监管数据高质量报送是当前金融机构面临的难题。特别是农村合作金融机构，面临数据基础薄弱、法人机构多、技术自主可控性差等实际情况，监管报送工作挑战巨大。
陕西信合结合多年的实际报送经验与“痛点”问题，按照新的监管要求，基于大数据支撑体系，自主设计，构建统一技术架构和技术标准的报送服务体系。建立监管统一报送集市，实现数据共享，提升数据处理能力，完成汇总类、明细类报送数据的集中处理。基于行内开发平台，搭建统一的报送前台，为各级用户提供数据准确，操作简捷，客户体验良好的监管统一报送平台。
基于大数据技术的监管统一报送平台建设，以“夯实基础、统一数据、完善规则、拓展应用、快速响应”为总体目标，建立一套跨部门、跨业务条线的监管信息整合与综合管理平台，实现金融监管数字化转型升级。
二、项目方案
（一）平台逻辑架构
基于大数据技术监管统一报送平台，采用微服务管理理念，将预警校验、指标库、血脉追溯、报表设计器、报文生成等功能，抽象包装为公共的微服务组件，各报送模块通过微服务进行相互调用。前端技术采用主流VUE框架，后端技术采用Springcloud框架，报送数据集市的数据存储、数据加工、数据校验等基于“Hadoop+Mpp”混合的大数据平台进行实施。从前台应用到后台数据存储，整体可以分为统一报送门户、平台基础服务、报送数据集市三层结构，平台逻辑架构图如下所示。
图表1.逻辑架构图
1、统一报送门户
2、平台基础服务
平台基础服务区域，整体设计理念是将各上报系统中复用性较强的功能模块进行统一的微服务封装管理，各报送模块通过微服务调用实现相应的预警校验、报文生成、血脉追溯等功能。其范围主要包含统一预警校验、统一指标管理、统一血脉追溯、报表设计器等8个基础功能服务。
3、报送数据集市
报送数据集市基于“Hadoop+Mpp”混合架构的大数据平台搭建，由数据交换平台统一提取各业务系统的上报数据，在大数据平台端进行共性数据加工处理，并将处理结果提供给报送数据集市，再由报送数据集市按照监管规则进行特色化数据计算和多环节的校验检查，最终再通过数据交换平台将报送数据集市的数据结果推送至监管统一报送平台。报送集市基于行内的大数据平台，可有效提升报送数据的处理效率，加强数据计算能力共享与数据资源共享，确保数据的集中处理与统一口径。
（二）平台物理架构
基于大数据技术监管统一报送平台是以微服务技术构建的分布式应用平台，采用前后端分离模式，进行平台各区域内微服务应用的编码、调试、构建等开发管理工作，通过集成敏捷高效的DevOps工程化交付体系。整体物理架构图如下：
图表2.物理架构图
1、基础服务架构
基础服务框架提供基础服务开发工具包、日志、异常处理、负载均衡、熔断限流、应用发现等一系列基础能力，支持微服务应用的系统管理、应用管理、配置管理、日志查看、状态监控等功能。
平台公共组件单独部署：主要包括Nginx、网关、注册中心、配置中心、监控中心、日志中心、Redis缓存、文件存储服务等组成。
2、应用服务架构
平台整体基于分布式架构搭建，系统采用集群部署方式，主要划分为以下两类：
（1）统一报送门户：
按照各结点互为主备的方式，集中进行金融统计、二代征信、数字央行、客户风险、非现场监管报表（1104）、银保监数据标准化（EAST）、金融统计标准化、金融业态势感知、金融基础数据、集中账户上报、支付统计分析（PISA）、支付合规结算上报、人行利率报备、现金收支报表等微服务组件的部署管理。
（2）应用基础服务：
针对统一预警管理、统一指标管理、统一血脉追溯、统一报表设计、统一批量管理、统一报文管理、统一机构管理、统一用户管理等应用基础服务组件的管理。
3、数据架构
报送数据集市的整体部署架构依赖我社现有大数据平台的“Hadoop+MPP”混合架构为基础建设而成，其中MPP数据库提供数据的夜间加工和处理，Hadoop为报送数据提供海量历史数据的存储、历史变化趋势的加工和海量历史数据的高并发查询能力。所有节点均采用X86中端+高端物理服务器部署，共70台服务器。其中Hadoop集群采用“3+49”模式部署，3台管理节点为一主两从模式，49台服务器作为数据节点。MPP集群采用“2+16”模式部署，2台管理节点为一主一从模式，16台服务器作为数据节点。两个集群的管理节点均负责接收和管理连接请求，并处理用户提交的SQL语句，是整个集群的管理调度中心。计算节点为高端数据服务器，负责数据存储和查询处理，完成管理节点的分派任务。
目前大数据集群配备可用容量为832T，其中Hadoop集群为640T、MPP集群为192T。按照陕西信合当前的数据存储现状评估及数据量增长趋势，“Hadoop+MPP”混合大数据平台的硬件资源配置科满足未来三年的规划要求。
（三）平台应用架构
基于大数据技术监管统一报送平台的整体应用可分为：统一门户管理、基础功能管理、统一预警管理、数据血脉追溯，报表设计器、统一批量管理、后台数据支撑七大模块（图表3）。
图表3.应用架构图
1、统一预警管理
统一报送平台预警管理体系的建设工作主要有“报送数据集市预警管理”和“统一报送门户预警管理”两部分，其中，统一报送门户预警主要包括：预警规则配置、各报送模块预警、补录实时预警等；报送数据集市预警主要包括：贴源层预警、缓冲层预警、汇总层预警、指标层预警四部分，而且根据数据层级不同，预警校验执行范围也有所区别。预警应用架构如下（图表4）：
图表4.预警管理应用架构图
（1）报送数据集市预警
按照数据层次结构，报送集市的预警主要分为：贴源层预警、缓冲层预警、汇总层预警、指标层预警。贴源层预警主要是针对数据文件格式校验和数据完整性校验；缓冲层预警主要是针对该层数据的基础总分核对校验和少量的数据格式校验；汇总层的预警相对于缓冲层预警要严格较多，基本涵盖了所有明细类数据的格式校验和逻辑校验规则，并且涵盖了所有行内指标（各报送模块报表指标除外）的校验规则。
（2）统一报送门户预警
统一报送门户预警主要是针对指标类报送模块相应报表指标的表内预警和表间预警，其预警范围包括：各监管部门下发校验规则、行内业务梳理预警规则、各指标同比、环比、业务填报和系统原始值比对等。预警等级也分为“预警硬校验”和“预警软校验”，其中“预警硬校验”可以阻止上报系统的后续提交环节，“预警软校验”只作为预警提示，不影响后续填报动作。
2、数据血脉追溯
图表5.数据血脉追溯架构图
3、统一报表设计器
统一报表设计器是针对指标类报送模块报表的配置工具，所有报送模块报表的新增以及变更都是在报表设计器中完成。通过报表设计器可以实现报表的可视化模版样式设计，以及相应的报表基础信息配置、取值关系配置、报表指标信息配置等。主要功能模块包括：报表样式配置、报表基础信息配置、报表辅助功能设置。其整体功能架构如下（图表6）：
图表6.报表设计器应用架构图
（1）报表样式配置
根据实际用户体验需求实现报表样式的灵活设置，报表设计器可以支持已有EXCEL模板样式的解析读入，生成相应的系统页面报表模板，模板生成后可以通过相应的格式编辑控件实现报表样式的个性化开发。主要包括：报表字段编辑、报表文本编辑、报表行编辑、报表列编辑。
（2）基础信息配置
（3）详细信息配置
报表设计器中的内容信息主要是指报表指标信息配置和报表指标取值配置，报表指标信息配置是针对报表中单个指标项的指标名称、填报说明、取值口径等方面的配置；指标取值配置是针对报表中单个指标项取值口径的配置，包括：指标运算公式配置、运算符号配置、运算逻辑函数配置等。
（4）辅助功能配置
辅助功能配置主要是指外部EXCEL模板内容自动适配、报表升级制度的打包导出和外部制度包的导入、数据容差值的批量设定、报表填报任务分配等功能。
4、统一批量管理
基于大数据技术监管统一报送平台的批量管理建设共分成两部分进行：一是，基于大数据（GP平台）报送数据集市批量调度管理；二是，报送数据集市到统一报送门户的数据流转批量管理。
（1）批量执行调度管控
通过前台页面拖拽方式进行各模块依赖关系配置，根据模块依赖关系设置，系统可以实现单独模块的灵活调度。
数据采集频度上实现增、全、变化量的灵活配置。
灵活操作单指标、多指标批量的执行调度。
可以在前台进行定时任务设置和批量临时启停控制。
（2）批量状态实时监控
通过对批量执行时数据库表中各类标记状态的读取，可以在前台页面实时查看当前批量执行情况、历史执行情况、执行日志，系统资源占用情况，数据库资源占用情况。并且，在前台页面中可以通过对各批量环节历史执行情况数据的比对分析，帮助系统管理人员及早发现批量执行中的问题。
（3）批量执行队列配置
（4）定时任务设定
根据各类上报数据执行时点要求，设定相应的定时任务计划，减少批量调度过程中的人为疏漏。
5、统一门户管理
对整个“统一报送管理前台”的用户权限进行统一管理。
根据用户权限的分配情况，实现对下游相应报送模块的访问控制。
建立统一消息管理模块，对待完成工作、未完成工作、上报情况等实现自动提醒。
三、创新点
基于大数据技术的监管统一报送平台从“聚合化数据管理”、“共性化数据应用”、“一体化预警校验”、“服务化监管报送”、“敏捷化组合开发”、“全局化血脉追溯”六个维度对监管报送数据进行统一整合，快速响应各级监管文件要求，通过数据采集，加工，补录，分析，传输，报送和反馈对监管数据进行全流程闭环管理，实现数据处理安全高效、日常报送简捷、客户体验良好的监管统一报送平台。其创新点主要包含以下几方面：
（一）大数据基础底座
监管统一报送平台的报送数据集市，基于“Hadoop+Mpp”混合架构的大数据平台搭建，具备高效的海量数据存储和处理能力。功能层级包括贴源层、标准层、整合模型层、共性加工层和报送集市层，数据处理流程包括数据抽取、数据加载、数据计算、数据供给等。其中，数据抽取与数据供给由全行级数据交换平台实现，该平台采用分布式Informatica集群实现，支持多作业、多线程并发，是全行的批量数据文件交换枢纽。
（二）统一报送数据处理集市
监管统一报送平台的报送集市基于大数据基础底座构建，分布式技术的应用，解决了数据处理效率不足，无法按期报送问题。数据集中处理，实现了不同报送模块间的数据共享与口径统一。
（三）平台基础服务构建
（四）数据计算与数据应用分离
为了解决传统报送系统数据计算与前端应用共享资源而相互影响的问题，监管统一报送平台采用数据计算存储与前端应用分离的方式部署，后端负责大量的数据汇总计算，前端负责数据结果呈现与支撑业务操作，后端数据处理时不影响前端人员的操作体验。
（五）统一技术规范、统一服务管控
监管统一报送平台与其他系统之间通过全行级微服务、ESB、数据交换平台、文件传输平台完成数据同步与共享，系统“互联互通”遵循统一的技术标准，包含互联互通规范、统一日志规范、统一服务治理规范、统一密码服务规范、统一数据标准、统一错误码规范等十余个技术标准及规范。
（六）统一血脉追溯体系
监管统一报送平台建设了一套覆盖全报送范围的数据血脉管理体系，能够将整个统一报送平台的所有数据关系变成资产保留下来，最终通过数据管控平台形成数据地图，在实际使用过程中，以任何一个元数据为切入点，可找到该元数据是如何诞生的（血缘分析），也可找到该元数据的变动会影响到其他的哪些元数据（影响分析）。通过血缘分析和影响分析功能，可更高效的把控我社数据的来龙去脉，在源系统进行优化与改造时，可以据此提出相应的统计报送方面的数据需求，以持续提高上报数据质量。
（七）统一预警校验体系
建立了一套贯穿于各报送环节的统一数据校验及预警体系，使平台的校验及预警功能能够满足跨监管、跨系统要求，实现基础数据间、数据源和模型间、系统间的校验及预警机制。
四、技术实现特点
（一）应用前台技术
基于大数据技术监管统一报送平台的应用前端技术采用主流Vue框架，包含vue-router、vuex、Axios、element-ui等组件生态链。
图表7.应用前台技术架构图
Vue框架包括前台应用、业务模块、打包工具以及页面容器等，框架中的关键技术如下：
Vuejs：该组件用来构建用户界面的渐进式框架；
Element-ui：该组件为业务系统中提供常用基础组件；
Vue-router：该组件用于将路由与所展示组件对应起来以及路由鉴权等；
Vuex：该组件用于状态管理器；
Axios：该组件用于异步Http请求；
Webpack：该组件用于模块构建打包。
（二）应用后台技术
基于大数据技术监管统一报送平台的应用后端建设，采用我社统一开发平台的微服务部署方式进行开发，其主要包括公共技术层、服务层、网关层、展现层等。整体技术架构情况如下：
图表8.应用后台技术架构图
统一开发平台技术框架包括：注册中心、配置中心、监控中心、日志中心、服务网关、服务治理等，关键技术情况如下：
注册中心：统一开发平台注册中心采用springcloudEureka实现，用于服务注册及发现。
配置中心：统一开发平台配置中心采用StripApollo实现，用于配置集中管理、不停机修改应用参数等。
日志中心：统一开发平台日志中心采用ELK实现，用于对各应用日志进行收集、加工、存储、展现等。
监控中心：统一开发平台监控中心采用APM实现，用于对各应用的状态、堆栈、CPU、MEM、SQL等信息进行集中监控，实现应用的集中化监控。
服务网关：统一开发平台服务网关采用SpringCloudGateWay实现，用于衔接应用前端与后端应用，实现应用的动态路由、协议转换、限流、鉴权等。
服务治理：统一开发平台服务治理，采用Springboot、Springcloud、Springquartz等实现，实现服务的细粒度管控。
其他关键技术：负载均衡采用SpringCloudRibbon，服务熔断采用SpringCloudHystrix，服务契约文档采用Swagger，定时任务采用SpringQuartz，服务调用采用SpringCloudFeign，鉴权采用SpringCloudOauth2，数据库持久化框架采用SpringDataJpa、MybatisPlus，服务缓存采用Redis。
（三）数据处理技术
五、项目过程管理
（一）需求分析阶段
需求分析和概要设计阶段从2020年5月至2020年6月，期间项目组以科技部门为主导，开展同业机构调研、金融科技公司调研、基层法人机构调研、需求讨论、数据分析、需求分析等工作，完成行内项目管理要求的用户需求说明书、软件需求说明书、需求跟踪表、需求验证方案等文档的编写与提交，组织与各业务部门完成需求工作汇报及需求评审工作。
（二）设计阶段
2020年7月为设计阶段，组织科技人员进行技术平台选型、微服务架构、公共功能微服务组件化、关键模块功能讨论、数据结构讨论，数据流转讨论等，完成监管统一报送平台产品设计、模型设计、业务流程设计等，形成系统总体架构设计方案、概要设计方案、详细设计方案、数据库设计方案、接口设计文档、管理办法、实施细则等文档编写及提交，组织向推进工作小组进行监管统一报送平台模型、产品、制度等内容的工作汇报。
（三）系统编码、测试和上线准备阶段
编码、测试和上线准备阶段从2020年8月初至2020年12月，按照项目计划开展编码工作，定期跟踪关联系统的改造进度。开展系统内部单元测试和多系统间的联调测试和集成测试，按要求履行版本管理规范，完成SIT测试文档、UAT测试文档的编写和评审工作。
根据投产上线要求，编制设备及环境清单、部署手册、启停手册、应急处置预案、运维手册、上线工作任务书等文档资料。
（四）第一批次模块上线阶段
2020年12月，陕西信合监管统一报送平台分别完成了校验预警、报表设计器、血脉溯源三个微服务组件和金融统计、1104、金融基础数据、现金收支、代发工资、支付合规结算上报、银行业态势感知等七个上报模块的接入投产工作，实现了监管统一报送平台基础架构和服务组件的落地应用，为下一阶段新模块接入奠定了基础。
（五）第二批次模块上线阶段
2021年2月至2021年6月，基于三大基础服务组件和七个上报模块投产经验，项目组结合业务部门报送过程中反馈的建议，针对各报送模块的不同上报需求，对整体的产品结构和流程调整优化后，完成了银保监数据标准化（EAST）、客户风险、金融统计标准化、支付信息统计分析上报（PISAS）、利率报备检测分析，金融科技信息上报、集中账户上报、外汇局境外上报、非居民涉税、精准扶贫、数字央行、支付清算协会非现场监管报表十二个模块上线投产
基于大数据技术的监管统一报送平台项目于2020年4月启动，在实施过程中，各模块建设严格按照我社统一的项目管理规范和各类技术规范进行实施，经历了项目论证、立项、方案制定及评审、项目组织架构和总体计划编制、需求概要分析及评审、需求分析及评审、系统设计及评审、开发及联调、SIT测试、UAT测试、专项测试、非功能测试（包含性能、稳定性、高可用等）、安全评估（包含代码审计、渗透测试、漏洞扫描等）、上线评审及报备、业务试运行、正式对外服务等阶段。在项目实施过程中，按照项目管理要求严把质量关，对关键环节进行评审、对技术规范的落地进行检查、对项目目标定期开展对标分析，通过标准化的项目管理，保证了项目的顺利进行并符合预期目标。
六、运营情况
陕西信合基于大数据技术的监管统一报送平台建设，是结合陕西信合当前监管报送工作现状，基于监管机构报送要求频繁变更、报送格式不一、统计口径时常变化的实际情况，通过对监管报送领域的需求及问题收集，秉承规划出一套灵活可配、自动处理监管数据、快速响应监管变化、使用简单便捷的平台理念。新平台已经成功上线投产，为全省103家法人联社和村镇银行提供日常上报支撑工作。其界面友好性、系统功能性、安全管控性等方面受到了用户的好评。
一是用户体验提升，监管统一报送平台基于新一代技术架构进行设计和建设，在UI设计方面，遵循“以用户为中心”原则，界面交互简洁、清晰、易懂、有美感、层次感强。页面风格简洁大方，导航菜单层次清晰，重点突出。平台响应速度快，性能稳定，易于操作。
二是需求灵活响应能力，报送平台提供了丰富的、多维度的配置功能，极大的提升了业务人员操作的便利性和灵活性，减少了修改代码、测试和投产频率。
三是多法人支撑能力，不同与其他商业银行的组成架构，陕西信合是由93家法人行社组成，同时在技术上支撑10家村镇银行的运行，而大部分上报模块的数据上报工作需要各法人机构独立完成。针对多法人机构填报人员对监管制度了解深入程度不一，以及各地方性人民银行填报要求差异等问题，基于大数据技术的监管统一报送平台建设有效解决了多法人填报困难，通过统一预警校验、统一血脉追溯、统一报文生成等功能模块，在监管数据报送质量和报送效率方面对各法人行社都有极大的提升。
七、项目成效
（一）经济效益
陕西信合基于大数据技术的监管统一报送平台自2020年12月上线以来，已经按时完成了所有监管制度要求时点的上报工作，陆续成功接入投产19个报送应用，其中涉及指标类报表140多张，明细类报表610多张，共计涉及指标要素信息4万余项。从报送模块开发成本来说，较之前按每项监管报送要求采购第三方厂商独立报送系统的模式大大节约了经济成本，其中，金融基础数据上报模块较市面上成熟产品可节省50-60万元，人民银行利率报备模块可节省60-70万元，金融业态式感知可节省8-10万元。从长期效果来看，较大程度减少了陕西信合监管报送领域对实施厂商的依赖，关键技术把控、自主研发、对监管要求和业务需求的响应效率等方面均有所提升。
（二）社会效益
八、经验总结
基于大数据技术的监管统一报送平台于2020年12月28日在全省103家法机构上线运行。陕西省农村信用社联合社为各项监管报送工作提供全方位科技支持，新系统操作简便、响应迅速、界面美观、流程清晰，有效改善了原有报送系统的问题，极大地提升了报送工作效率。整体项目情况总结如下：
一是满足103家法人机构上报需求，基于大数据技术监管统一报送平台自上线投产以来，有效支撑了陕西省农信下属93家法人联社和10家村镇银行的数据上报工作。目前生产环境运行平稳，有效保障了各上报时点的正常上报工作。
二是加强整个报送体系的自主可控，基于大数据技术监管统一报送平台，是属于我社自主设计和研发项目，整体可控程度较高，无论是升级改造还是日常运维都有较高的自主可控性，有效的规避了厂商实施风险。
三是提升了监管新需求的响应效率，通过报表设计器、定制表单、指标配置管理等公共微服务组件的开发应用，有效提升了监管制度要求下新建报送模块的开发效率，保障各法人机构上报工作时效性。
四是提高了法人机构上报工作质效，结合统一预警校验体系、统一血脉管理体系等一系列上报辅助功能机制的建立，各法人机构填报人员依托系统的自动化提醒、便捷式查看、引导性操作，较大提升了日常上报工作效率和工作质量。
五是提升各报送模块上报数据质量，通过基于大数据平台的报送数据集市建设，有效的加强了整个报送体系的数据管控力度，提升了各报送模块的上报数据质量，再结合统一预警校验体系和统一血脉追溯体系的应用，从填报人员视角可以清晰的看到当前数据质量情况以及产生问题的根源数据在哪里，从而督促业务人员或应用系统人员，通过数据补录、系统改造、数据治理等方式进行数据质量的完善。