大数据基础大数据概念与应用(刘鹏《大数据》课后习题答案)泰初

JimGray提著名的“新摩尔定律”,即人类有史以来的数据总量,每过18个月翻一番。

2.大数据现象是怎么形成的?

随着存储成本的下降,云计算、硬件性价比以及软件技术的进步,智能设备、传感器的普及,物联网、人工智能的发展,数据规模急剧膨胀,各行业积累的数据量越来越大,数据类型也越来越多,越来越复杂,于是“大数据”应运而生。

3.大数据有哪些特征?

(1)Volume,体量大。从2013至2020年,人类的数据规模将扩大50倍,每年产生的数据将增长到44万亿GB,相当于美国国家图书馆数量的数百万倍,且每18个月翻一番。

(3)Velocity,速度快。随着现代感测、互联网、计算机技术的发展,数据生成、存储、分析、处理的速度远远超过人类的想象力,这也是大数据区别于传统数据或小数据的显著特征。

(4)Value,价值高但价值密度低。大数据有巨大的潜在的价值,但同其呈几何指数爆发的增长相比,某一对象或模块数据的价值密度较低,这无疑给我们开发海量数据增加了难度和成本。

(1)按产生数据的主体划分

1)少量企业应用产生的数据。

2)大量人产生的数据。

3)巨量机器产生的数据。

1)以BAT为代表的互联网公司。

2)电信、金融、保险、电力、石化系统

3)公共安全、医疗、交通领域

4)气象、地理、政务等领域

5)制造业和其他传统行业

(3)按数据存储的形式划分

1)结构化数据

2)非结构化数据

5.常用大数据获取的途径

(1)系统日志采集

(2)互联网数据采集

(3)APP移动端数据采集

(4)与数据服务机构进行合作

6.大数据处理方法有哪些?

(1)大数据采集。大数据的采集通常采用多个数据库来接收终端,并且可以使用数据库进行简单的处理工作。常用方法主要有数据抓取、数据导入、物联网传感设备自动采集。

(2)导入与预处理。主要包括数据清洗、数据集成、数据变换、数据归约。

(3)统计与分析。统计与分析主要是利用分布式数据库,或分布式计算集群来对存储于其内的海量数据进行普通的分析和分析汇总,以满足大多数常见的分析需求。

(4)大数据挖掘。数据挖掘是创建数据挖掘模型的一组试探法和计算方法,通过对提供的的数据进行分析,查找特定类型的模式和趋势,最终形成创建模型。方法主要有分类、聚类、关联规则和预测模型。

6.大数据预处理的方法有哪些?

(1)数据清洗。主要是达到数据格式标准化、异常数据清除、数据错误纠正、重复数据的清除等目标。

(2)数据集成。是将多个数据源中的数据结合起来并统一存储,建立数据仓库。

(3)数据变换。过平滑聚集、数据概化、规范化等方式将数据转换成适合数据挖掘的形式。

(4)数据归约。寻找依赖于发现目标的数据的有用特征,缩减数据规模,最大限度地精简数据集。

7.大数据的挖掘方法有哪些?

(1)分类。一种重要的数据分析形式,根据重要数据类的特征向量及其他的约束条件,构造分类函数或分类模型,目的是根据数据集的特点把未知类别的样本映射到给定类别中。典型算法:朴素贝叶斯算法、KNN、SVM、AdaBoot算法、C4.5算法、CART算法。

(2)聚类。目的在于将数据集内具有相似特征属性的数据聚集在一起,同一个数据群中的数据特征要尽可能相似,不同的数据群中的数据特征要有明显区别。典型算法:BIRCH算法、K-means算法、期望最大化算法(EM算法),

(3)关联规则。指搜索系统中的所有数据,找出所有能把一组事件或数据项与另一组事件或数据项联系起来的规则,以获得预先未知的和被隐藏的,不能通过数据库的逻辑操作或统计方法得出的信息。典型算法:Apriori算法、FP-Growth算法。

(4)预测模型。一种统计或数据挖掘的方法,包括可以在结构化与非结构化数据中使用已确定未来结果的算法和技术,可为预测、优化、预报和模拟等许多业务系统使用。典型算法:序贯模式挖掘SPMGC算法。

THE END
1.摩尔定律的演变与挑战:后摩尔时代的集成电路创新摩尔定律的概念 什么是摩尔定律 摩尔定律是由英特尔(Intel)创始人之一戈登·摩尔(Gordon Moore)提出来的。其内容为:当价格不变时,集成电路上可容纳的晶体管数目,约每隔18个月便会增加一倍,性能也将提升一倍。换言之,每一美元所能买到的电脑性能,将每隔18个月翻两倍以上。这一定律揭示了信息技术进步的速度。https://blog.csdn.net/qq_40713201/article/details/126756499
2.什么是摩尔定律,摩尔定律的知识介绍摩尔定律(Moore's Law)是电子工程师戈登·摩尔在1965年提出的一个观察性规律,即每隔大约18-24个月,集成电路上可容纳的晶体管数量将会翻倍,其性能也将相应提高。 1.摩尔定律是什么意思 摩尔定律是关于集成电路发展速度的一个经验规律,它指出,集成电路上可容纳的晶体管数量每隔一段时间就会翻倍,而价格将会下降,性能https://www.eefocus.com/baike/516148
3.新摩尔定律技术采用的生命周期二、新摩尔定律的指导意义 首先必须得澄清一下什么是“市场”,市场就是: 一个实际或者潜在消费者群体 对于给定的产品或者服务 拥有一套共同的需求或者需要,以及 在做出购买决定时相互推荐 其实这个生命周期的钟型曲线并不是摩尔原创,他指出的关键在于“早期采用者”和“早期大众”之间存在一个致命的“鸿沟”。 https://www.jianshu.com/p/b2809c0b189f
4.5分钟微课——《新摩尔定律》5分钟微课——《新摩尔定律》 到2020年,我国大数据规模将占世界的21%,成为真正意义上的数据资源大国。 什么是新摩尔定律? 新摩尔定律产生了什么机遇? 请看5分钟微课——《新摩尔定律》https://www.sohu.com/a/191493046_271472
5.摩尔定律是什么意思摩尔定律概念摩尔定律的意义摩尔定律的意义不仅在于促进了硬件技术的持续进步,还对社会和经济产生了深远影响。首先,摩尔定律的实施使得计算机科学领域的发展在过去几十年中取得了巨大突破。计算机的运算速度大幅提升,存储容量大大增加,计算能力得以极大提高。这为现代科学研究、商业运作和日常生活中的计算任务提供了更加高效和便捷的工具。 https://bomyg.com/detail/189681.html
6.ChatGPT之父提出新摩尔定律:宇宙智能数量每18个月翻一番—新闻—科学当地时间2月26日,“ChatGPT之父”、OpenAI首席执行官山姆·奥特曼(Sam Altman)在社交媒体称,一个全新的摩尔定律可能很快就会出现,即宇宙中的智能数量每18个月翻一番。有网友直接将其称为“奥特曼定律”。 1965年,时任仙童半导体公司工程师、后来创立英特尔的戈登·摩尔提出,半导体芯片的晶体管密度每18个月翻一番,https://news.sciencenet.cn/htmlnews/2023/2/494774.shtm
7.摩尔定律是什么常见问题摩尔定律是什么 摩尔定律表明,集成电路上的晶体管数量每 18-24 个月增加一倍,导致计算能力和存储容量成倍提高。该定律推动了重大技术进步,包括个人电脑革命、移动计算、大数据和人工智能。尽管摩尔定律并不是无限的,但它对计算技术的影响将持续存在,未来可能出现多核处理、异构计算和量子计算等趋势。https://m.php.cn/faq/820488.html
8.Internet发展的新摩尔定律互联网科技时代联合国“1999世界电信论坛会议”副主席、加拿 大北电网络公司(Nortel)总裁约翰·罗斯(John Roth)在世界 电信论坛开幕演说时,提出了“新摩尔定律”— —光纤定律(Optical Law),即Inte rnet频宽每9个月会增加一倍的容量, 但成本也同时降低一半,比芯片在18个月中的变革 幅度还大。 https://tech.sina.com.cn/news/internet/1999-10-13/8512.shtml