金融行业是经营风险的行业，风险控制能力是金融机构的核心竞争力。通常而言，金融机构一般是通过给客户的信用状况评分来计量贷款违约的可能性，并通过客户的风险水平进行利率定价。
大数据风控技术正是随着大数据处理技术、计算机科技和互联网技术的出现和升级而产生的一种基于数据挖掘、机器学习等大数据建模方法的信用评估体系，目前被金融机构广泛运用到贷前信审、反欺诈、贷后管理和追偿清收等环节中。
一、银行可利用的大数据有哪些？
以银行为例，目前银行能够利用的大数据主要包括以下几个方面：
二、银行大数据管理方面存在哪些问题？
1）数据使用效率低：数据的加工和使用超强依赖IT人员，不能提供自助式数据服务。
2）外部数据杂乱：外部数据源越来越多，如微博、新闻媒体、淘宝、电商数据等，如何将这些外部数据整理、加工成可供行内正常使用的真实、准确的数据需进一步探索。
3）数据类型复杂：数据资源非结构化数据占有很大比重，且数据类型越来越复杂，如视频文件、音频文件、图片文件、邮件等，传统的Oracle，SQLServer等数据库不能满足该类数据的存储、搜索和分析。
4）存在大量的数据孤岛：银行等金融机构存在不同类型的应用系统，数据被分散在各个应用系统的数据库和文件系统中，导致数据不能有效的共享；跨系统的、综合性的数据搜索、分析困难等。
显然，上述数据管理方面存在的问题难以单纯靠人工解决，那么如何有效地整合和利用银行积累起来的大数据资源，让大数据资源更高地为银行的信用评估服务，这就需要搭建综合型的大数据风控平台。
三、大数据风控平台应该是怎样的？
大数据风控平台的基本特征主要有三个：
1）大数据风控平台能够处理的数据种类多，维度更广，大数据风控平台不仅重视传统的信贷变量，还可以分析借款主体的社交网络信息等信息，能够为信贷缺失的群体提供基本金融服务。
3）大数据风控平台对模型可以不断迭代和动态调整。机器学习技术使得大数据风控平台的风控模型可以将原始数据转化成指标需要进行不断的迭代，不同模型的权重值可以根据样本进行动态调整，反过来也能不断改进模型的评测效果。
四、大数据平台的数据治理方案
搭建一款集数据采集、存储、搜索、加工、分析为一体的大数据平台，融合结构化数据、非结构化数据，实现了统一数据架构，对海量异构数据的存储归档、信息组织、搜索访问、安全控制、分析可视化，以及数据挖掘、数据治理等，如图1所示。
▲图1银行大数据平台数据治理方案
1、数据分层
数据是分层次的，不同的数据其属性、处理方式、价值都是不同的，如图2所示：
1）源数据：源数据是各个业务系统中生成的大量的业务生产数据，应加强备份和归档工作，防止数据的不完整和损坏。
2）归档数据：归档数据又称为细节数据，平台需要抓取所有的源数据进行归档，形成完整的数据库。
3）整合数据：对细节数据进行整合，形成按照主题存放的汇总数据集市。
4）指标数据：针对客户、员工、管理者，计算生成内容丰富的指标数据源，为进一步做数据挖掘准备丰富的数据源。
5）决策支持数据：用于决策分析系统、智能化分析系统数据，如客户产品推荐、客户细分、销售预测、精准营销等等。
▲图2不同数据层次的处理方案
2、数据整理
1）文件格式数据：直接使用行内ETL工具直接导入到大数据平台中。
2）实时变更数据：建立专用通道，支持数据实时装载到大数据平台中。
▲图3行内数据和行外数据整理
3、抽取数据
对现有各种数据库的各类数据进行清洗、转换、并加载到大数据平台。根据代码标准，整合数据类别，形成数据覆盖全面、标准化、规范化的数据集市。
4、数据仓库
大数据平台对结构化数据采用分布式技术的开源数据仓库，支持各种报表软件的访问和第三方软件集成，同时满足结构化数据的计算和存储。
5、加工数据
大数据平台定义对数据的各种加工任务，主要表现在以下几个方面：
6、分析数据
大数据平台以可视化方式呈现数据查询、数据视图、报表等。
五、银行大数据风控平台的建设方案
常见的大数据分析平台架构有Hadoop、Spark、Storm、Samza等，而基于Hadoop构建大数据风控平台具有分布式云存储和云计算能力，提供了核心分布式数据仓库、分布式列数据库解决方案，还具有良好的扩展性，常用在银行大数据风控平台建设中。本文基于Hadoop搭建大数据硬件系统，结合JAVA开发，实现海量数据的分布式存储和处理。
1、系统总体硬件框架图
银行大数据风控平台是基于PC服务器部署，无需购买数据库的软件及硬件，实现小时级别的安装部署。甚至实现数据并行传输、实时数据更新服务、查询数据秒出结果等等，系统整体硬件框架如图4所示。
1）分布式计算和存储，根据数据量增大快速水平扩展。
2）面向多应用系统，多数据类型和多数据源，实现统一数据架构，融合结构化、半结构化、非结构化的数据，实现数据的安全控制和统一建模。
3）为其他应用系统提供API接口，实现第三方系统数据集成并提供各种数据服务。
4）以数据归档为核心，全面实现数据的全生命周期管理和全数据搜索、实时数据分析可视化以及交互式数据发现等。
5）支持传统SQL结构化数据访问和传统BI软件的集成。
▲图4大数据风控系统硬件框架图
2、系统软件架构
大数据风控平台的软件设计理念和技术，能够解决海量数据容纳问题、多业务数据源整合问题、多数据格式转换问题等，如图5所示。
1）整个系统软件部分可基于JAVA开发，运行在Windows和Linux操作系统上，节点同时运行在物理机、虚拟机、Linux、Windows上。
2）所有后台数据服务程序可直接运行在JVM上，实现灵活、高效的分布式运算。
3）用户使用管理功能可基于J2EE开发，WEB用JSF2.0实现，可扩展性强，便于二次开发。
4）采用分布式存储和搜索技术，数据集中平台最根本的要求是处理海量的数据，高效融合结构化、半结构化、非结构化数据的管理。
▲图5大数据风控系统软件架构
六、银行大数据平台产品应用
通过大数据平台内置现成的客户统一画像，根据获取实时数据，实现客户精准画像，通过迁移学习、机器深度学习理论，对客户360度画像，分析客户行为习惯，甚至实现客户精准营销应用，智能推送优质客户资源，严格控制风险。如图6所示。
▲图6银行大数据平台产品应用
1、风险控制
银行体系内的负面信息包括：信用卡逾期、贷款逾期、黑名单信息等；银行体系外的负面信息包括：P2P/小贷公司等黑名单信息、公检法的诉讼案件信息、国家行政机关处罚信息(工商、税务、一行三会、协会等)以及网上负面舆情(虚假宣传、误导消费者)等。从这些数据出发，全面评估个人客户在银行的风险等级，为银行的风险防范提供决策支持。如图7所示：
▲图7大数据平台产品之风险控制
2、客户画像及用户行为分析
通过大数据风控平台将结构化数据、非结构化数据、半结构化数据统一存放在数据模型之中，并将外部数据与内部数据尽可能的匹配，实现对现有客户更加全面、充分、详尽分析，如图8所示。
▲图8客户全面行为特征分析和指标运算
为了满足线上营销和线下营销相结合的场景，数据的进入根据营销方式分为实时数据、批量数据、画像指标数据、建立复杂网络体系和客户智能信用分模型。
1）实时数据：将客户线上行为日志数据信息实时推送到大数据平台，存入数据模型之中，实现数据标准化、统一化工作，并且对实时数据进行线上行为实时分析。
2）批量：每日定时将数据汇总到大数据平台，存入数据模型库中，实现数据标准化、统一化的工作，并对数据进行加工。
3）画像、指标数据运算：根据预设的场景，进行客户信息全面画像和各项指标运算，从而获得客户的全面特征，以及产品特征。
4）构建复杂关系网络体系，实现线上各业务通道场景互通，主要实现基金理财平台、三方支付平台、电商/O2O平台、游戏平台、银行网申平台的互通。
5）创建客户智能信用分模型：以全网大数据为基础，结合大数据风控平台，以诸多业务驱动为导向，创建客户智能信用分。输入：身份证号，手机号；输出：信用评分。
根据客户的负债信息、稳定性、负面信息、行为偏好、还款能力、还款意愿等六个维度，结合客户旅游、社交、支付、保险、基金、理财、电商、非银信贷、O2O、银行信息等全网各类数据信息，依据不同加权比重，建立客户智能信用分。
3、大数据产品应用之精准营销分析
通过深度学习理论和迁移学习理论对客户进行精准分析，获取客户源，并进行理财产品的精准推荐。
1）线上实时营销
使用数学模型算法，根据客户或客户群线上连续行为，自动校正客户画像或产品画像之间的关联情况分析，从而形成线上产品的推荐服务，产品推荐可按照客户可能关心的内容放在醒目位置自动排序，从而有效提升客户体验。
2）线上交叉营销
将不同产品或业务交叉推荐，根据客户的交易记录分析，识别小微企业客户，然后用远程银行来实施交叉营销。
3）线上个性化推荐
根据客户的理财偏好、资产规模、年龄、工作等维度，分析其潜在的金融服务需求，进行有针对性的营销推广。
4）线下营销
除了内部交叉营销销售、客户忠诚度分析、向上销售等传统的分析性内容外，还需要利用大数据平台，将行内数据与外部数据整合，建立精准营销数学模型，寻找更多的营销机会。
5）精准营销模型建立
6）产品创新
通过对特定数据分析和提取、产品核算，对比各类客户的产品使用率、收益率，结合互联网舆情信息，对不同客户群设计差异化的创新产品。
7）产品评价体系
根据产品评价指标建设评价模型，实现对产品的系统评分，获取每个产品指标数据，可采用登记评分法对数据进行处理，反应每个产品的每项指标在组内产品的排序。