大数据与互联网之间存在着什么关系_数据分析师考试
因互联网的迅猛发展与普遍接入,使“大”量数据的获取、聚集、存储、传输、处理、分析等变得越来越便捷,大数据逐渐发展成为一门新学科、一套新学说以及一种分析与解决问题,尤其是决策与预测问题的新方法、新手段。大数据与互联网的发展相辅相成。一方面,互联网的发展为大数据的发展提供了更多数据、信息与资源;另一方面,大数据的发展为互联网的发展提供了更多支撑、服务与应用。近年来,移动通信与移动互联网、传感器、物联网等互联网新技术、新应用、新发展模式的推陈出新,更使互联网变得越来越“无所不在”,由此而产生的数据越来越多、越来越“大”。继数字时代、信息时代、互联网时代后,人类又进入了大数据时代。
据2014年1月中国互联网络信息中心(CNNIC)最新发布的《第33次中国互联网络发展状况统计报告》称,截至2013年12月,中国网民规模达到了6.18亿(全球网民数量在28亿左右)、全年新增网民5358万、互联网普及率45.8%、手机网民规模达到了5亿(全球手机用户数量在48亿左右)、全年新增手机网民8009万,数量巨大、增长迅猛;此外,2013年,中国网民人均每周上网时长达到了25小时,相比2012年增长4.5小时。就大数据而言,仅中国,在拥有这么多数据“接收者”与“读者”的同时,就潜在地拥有了这么多数据的“发送者”与“作者”,并潜在地一周二十几小时在“生产”与“输出”各种各样的数据,这些数据可以是文本、音频、视频、位置、图片等结构化的、半结构化的或非结构化的数据,信息消费、信息交互、信息活动等已成为人们日常工作与生活的重要内容,人们越来越感觉“一日不可无网”。近年来,随着互联网技术与应用向“物”的世界的急剧延伸和扩展,物联网应运而生,未来全球可挂网上的“物”的数量将比上网的“人”的数量要大得多,必将产生更“大”的数据,这些将极大推动经济社会、生产生活、思维观念、政府政务、社会管理、社会安全等的变化与发展。
当然,大数据与互联网的发展在带来巨大机遇的同时,也带来了巨大挑战,如何建设好、应用好、管理好、发展好大数据与互联网,保证其安全,对广大的技术人员与管理人员、应用领域与各级政府提出了新课题、新要求、新挑战。
大数据的基本特性与体系框架
1.基本特性
大数据是指数量/容量规模在PB级(即1015字节)以上的数据,其基本特性主要体现在所谓的“4V”上:
*体量巨大(Volume)
*种类繁多(Variety)
*蕴含的商业价值高(Value)
*要求的处理速度快(Velocity)
如图1所示。
面对巨大、复杂、高速、变化不定的大数据,需要有别于传统数据处理技术的、全新的技术体系、分析方法和处理模式。
2.体系框架
从体系框架来看,大数据主要由三部分组成:
*数据采集与准备体系
*分析结果解释与数据质量评价体系
从应用层次来看,大数据分析可分为三个基本层次:
*仅将数据分析当作单独工具使用,不专门建系统;
*将数据分析嵌入系统,成为部门级应用;
*数据分析的企业级应用,将之作为整个企业决策与运营的“CPU”。
目前,国内应用数据分析技术和工具(当然这离大数据的要求还有很大距离)的企业基本还处于第一层次,某些企业能够做到第二层次,第三层次的则可以说基本还没有,只有达到了第三层次,使数据分析真正成为企业的核心,才能认为跨入了大数据的门槛。