2011年,麦肯锡在题为《海量数据,创新、竞争和提高生成率的下一个新领域》的研究报告中首次提出大数据的概念。报告认为数据已经渗透到每一个行业和业务职能领域,数据中蕴含着巨大的价值,这些价值将导致数据成为重要的生产因素。2012年《纽约时报》的一篇专栏中写到,“大数据”时代已经降临,在商业、经济及其他领域中,最终决策将日益基于数据和分析而作出,而并非基于经验和直觉。2012年3月,美国奥巴马政府宣布投资2亿美元启动“大数据研究和发展计划”,这是继1993年美国宣布“信息高速公路”计划后的又一次重大科技发展部署。美国政府认为大数据是“未来的新石油”,将“大数据研究”上升为国家意志,对未来的科技与经济发展必将带来深远影响。
进入21世纪,互联网的兴起促成了数据量的大规模增长。互联网时代,几乎全民都在制造数据,与此同时,数据的形成也极其丰富。一方面,既有社交网络、多媒体、协同创造、虚拟服务等应用所主动产生的数据;另一方面,又有搜索引擎、网页浏览过程中被记录、被收集的数据。该阶段数据的特点是用户原创、主动、交互。
根据国际数据公司(IDC)的研究报告,2011年全球被创建和被复制的数据总量为1.8ZB(数据存储单位,泽字节,等于1024艾字节或270个字节),且增长趋势遵循新摩尔定律,预计到2020年,全球数据量大约每两年翻一番,全球将拥有35ZB的数据量。正是由于信息技术的发展,大数据才能生成和发展。大数据技术正是从海量的、多样化的数据中,快速获得有价值信息的能力。
大数据分析建模的基本思路技巧
CRISP-DM认为在大数据分析中存在一个大数据分析挖掘生命周期模型。在这个生命周期模型中存在着商业理解、数据理解、数据准备、建立模型、模型评估和结果部署这六个阶段。图1中展示了这六个阶段的关系,其中箭头的多少表示各个阶段间依赖关系的使用频率和重要程度,每个阶段之间并不一定要严格遵守顺序。实际上,大多数项目都会根据需要在这些不同的阶段之间来回移动。
大数据分析通过预测未来趋势及行为,做出知识的决策。大数据分析挖掘的主要目标功能有以下几个:
第三,聚类。数据库中的一些相类似的记录可以划归到一起,即聚类。聚类常常帮助人们对事物进行再认识。在社交网络分析中经常用到聚类技术。
模型算法优点缺点应用场合
聚类(K-MEANS)应用简单,无需先验知识,能处理分类型数据,数字型数据和字符型数据聚类的个数需要人为事先定好,难以选择适当的距离函数和属性权值对数据按照属性进行归类,发现离群数据和不符合预测模型的数据
零售银行中的大数据类型
在现代经济生活中,个人和家庭生活与银行零售业务联系密切,比如投资理财、电子商务、移动支付、家居生活以及外出旅游无不与银行零售业务紧密相连。正因为零售银行的客户庞大、分布广泛、业务量大且复杂,因此零售银行对业务的管理、风险的控制、客户的营销都有不同的要求。并且随着互联网金融的发展,银行零售业务越来越受到其他非银机构的挑战,零售银行对其业务的稳固及发展面临着新的压力并提出了新的要求。要应对这种挑战,不断扩展业务,创造新的利润空间,就必须对市场需求进行周密的调查研究,并且在调查研究的基础上发现价值点,而这些正好是大数据分析的用武之地。
零售银行经过了这么多年的发展,尤其是在最近几年互联网和移动互联网快速发展的前提下,本身已经积累了大量的数据,这些数据几乎涵盖了市场和客户的各个方面。零售银行的这些数据主要包括以下几个方面:
第一,现有客户的属性数据。客户的属性数据包括客户的性别、年龄、收入以及客户的职业。这些数据是客户在开户或者购买产品时留下来的属性数据,通过这几个属性基本上可以描述客户的大概情况,比如收入水平、资产状况等。
第二,客户的账户信息。客户的账户信息里包含了客户的账户余额、账户类型以及账户状态。客户的账户信息记录了客户当前的一种资产状态,对零售银行分析客户以及挖掘客户起到了重要作用。
第四,客户的渠道信息。渠道信息是指客户是偏好去银行柜台办理业务,还是通过互联网客户端或者移动互联网客户端来办理业务。客户的渠道信息对客户的管理及拓展至关重要。
第五,客户的行为信息。在互联网时代,各个零售银行都有网银日志和手机银行日志,这些日志记录了客户办理业务的行为信息。相对于前几个方面的数据信息,网银日志和手机银行日志信息是一种非结构化的数据信息。
大数据分析对零售银行的商业价值
第一,客户的精细分类和档案管理。零售银行为了给客户提供更加优质的服务,需要通过分析银行系统本身数据库所保留的客户资料信息,对客户进行分类管理。
第四,风险控制和管理。信用卡的使用就是零售银行面临的风险之一,客户恶意透支信用卡,逾期不还款这些都是银行面临的潜在风险。因此,如何提前识别有风险的客户,如何预防客户的恶意透支以及如何进行风险管控,这些都是零售银行面临的难题。在大数据分析大规模应用之前,银行只是简单的通过用户的背景资料来进行预防,这种方法既被动又无效。而如今,在大数据的帮助下,银行可以从客户的历史数据中分析出客户的消费行为习惯,一旦客户出现非常规的消费行为,即可认为风险指数超标从而中止交易,进而有效地防止风险的出现。
另外,通过大数据分析也可对用户的信用等级进行评估,对信用评估得分低的客户可以重点进行风险管理和控制;对信用评估得分高的客户可以进一步挖掘出这部分客户的消费潜力进而提高零售银行的业绩。
以上五点只是大数据分析对零售银行商业价值存在的主要方面,也是大数据分析对零售银行影响最大的几个层面。随着大数据分析在零售银行业的应用与发展,大数据分析对零售银行其它业务的商业价值必将得到更大的显现。
总而言之,大数据是创新、竞争和提高生产率的新领域,蕴含着许多市场机会与利润空间;大数据所蕴藏的巨大价值必将引起包括零售银行在内的诸多行业的经营创新和企业管理的重大变革。今后,大数据分析对零售银行的影响会越来越大,零售银行业在大数据的推动下必将迎来一个新的增长机遇。
说起大数据,可能很多人都知道这是未来互联网时代发展的一个大发向。但是大数据的兴起却不是因为互联网,也不是因为移动互联网,而是因为万物互联。
互联网可以说是信息1.0时代,而移动互联网则是信息1.5时代,物联网呢,则是信息2.0时代。在这个万物互联的时代,它将是一个信息爆炸的时代,大数据将会在这个时代掀起一个突飞猛进。
目前,各种智能硬件、联网设备、传感器如雨后春笋般地冒出来了。智能家居、智能可穿戴、智能汽车、智能小区、智能城市等很快就将在全球范围流行起来。而在这个万物联网的背后,数据的分析、处理、识别、预测等就变得尤为重要。
眼下阿里云在金融云、政务云、企业云服务方面已经跑在前面,而百度云则在个人云服务、物联网数据方面领先,腾讯呢,自然在这方面要略显落后了。不过进入到今年以来,腾讯云正在加速追赶百度和阿里。
不过在物联网时代,谁能真正玩转大数据,目前不管是亚马逊、还是谷歌等科技巨头,目前都没有谁敢真正说这个领域将会是自己说了算。而第一个尝到大数据甜食的又会是谁,我们拭目以待。