论文:大数据的若干基础研究方向网经社电子商务研究中心电商门户互联网+智库

●不冲突是指大数据不取代信息化,信息化不包含大数据。这样,信息化工作照样做,并且信息化仍然将快速发展。但大数据已经从信息化工作中独立出来,如果说信息化对应的技术叫信息技术(informationtechnology,IT),那么大数据对应的技术可以叫数据技术(datatechnology,DT)。

信息化的技术和大数据的技术是不同的,参考文献[1]给出了二者技术的对比。这样,信息化的基础研究和大数据的基础研究也是不一样的。大数据的基础包括:应用基础、分析基础、数据基础、计算基础和数学基础5个方面。

大数据的应用基础包括各学科、各领域的基于数据的新方法、新范式、新理论等,用于支撑基于大数据的科学研究方法、社会发展方式、经济建设模式和国防安全手段。大数据的应用基础是建立在大数据技术、产品、工具和解决方案之上的,而这些产品和工具的开发需要大数据的分析基础。大数据的分析基础包括大数据分析理论与框架、大数据分析方法和算法、业务驱动的分析理论和方法等,大数据分析方法和算法的实现和实施需要大数据的数据基础、计算基础和数学基础。大数据的数据基础包括大数据的治理和管理、存储理论和模型、可视化等;大数据的计算基础包括多地计算/异地计算、计算框架、硬件设备、网络设备等;大数据的数学基础包括数据的数学结构、数据代数、数据相似性等。图1给出了大数据基础的逻辑关系。

图1大数据基础逻辑关系

自2012年起,国家自然科学基金委员会对大数据研究开始立项,总体资助情况分布如图2所示。

图22012—2016年国家自然科学基金资助的以“大数据”为主题词的项目数

图32012—2016年国家自然科学基金委员会各学部资助项目数分布

图42012—2016年在五大基础方面的项目数总占比

图52012—2016年在五大基础方面的项目数年度占比

从图5可以看出,在2012年大数据发展初期,计算框架和计算能力是推动大数据发展最急需的基础,而之后随着开源计算框架的出现,计算基础的比例又开始下降。然而,2016年,数据开放共享成为趋势和重点,数据迁移、异地交换的需求又促进研究者探索新的计算框架。并且,分析基础在2013年的突增也说明当时对大数据方法需求的增长,随后相对稳定。在计算基础下降的过程中,应用基础占比逐渐上升,这说明越来越多的领域参与到大数据的研究中来。

图62012—2016年在五大基础方面的项目数年度变化情况

3大数据的应用基础

大数据的应用渗透到越来越多的领域,各领域大数据理论和方法的研究将为创新大数据应用、提升大数据价值奠定基础,创造出基于大数据的新型科学研究、管理决策、社会发展、经济建设方法和模式等。大数据的应用基础主要表现在各个学科基于大数据的创新,以科学研究的第四范式为代表[3],包括对人文社会科学的研究、管理决策新方法、外部事件驱动的管理决策方法、基于微观数据的宏观经济学等。

GRAYJ指出[3]:几千年前,科学研究是用实验解释自然现象的;几百年前,科学研究用理论模型探索科学规律,用实验验证理论;几十年前,科学研究用计算机模拟复杂现象,探索其中的奥秘;现在,科学研究是基于对数据的探索。科学的目的是认识宇宙、认识物质、认识生命、认识社会。

●在认识宇宙方面:人们用了很多方法,早期科学家用肉眼观测天空,后来用望远镜,现在用射电望远镜。这些望远镜得到的结果是各种各样的宇宙图像,天文学家通过分析这些图像来研究宇宙。

●在认识生命方面:自从DNA被发现,人类对生命的认识进入了全新的阶段,人类似乎找到生命的本质、遗传的本质。DNA可以用A(腺嘌呤)、C(胞嘧啶)、G(鸟嘌呤)、T(胸腺嘧啶)4个字母的字符串表示,于是DNA变成了可以用计算机计算的数据,生命科学研究就出现计算生物学的分支,并且迅速发展。生命科学家开始分析数据,或者通过分析数据来研究生命。

从上述分析可知,不论是自然科学还是社会科学,先进的研究方法是在数据上开展研究,这也说明,认识数据先于认识宇宙、认识物质、认识生命和认识社会。

大数据应用基础的主要研究方向如下。

●各学科基于大数据的新方法、新范式、新理论等,包括生命科学、物理、化学、天文、历史、社会、管理、经济等学科的大数据方法和模型研究与探索。

●各领域基于数据的新方法、新范式、新理论等,包括医疗、金融、交通、环保、商业等领域的大数据创新模式、智能决策方法和模型研究与探索。

●用于支撑基于大数据的科学研究方法、社会发展方式、经济建设模式和国防安全手段。

国家自然科学基金委员会也已对上述各个研究方向开展资助,例如在生命科学的大数据方法研究项目有:“利用大数据信息挖掘和基因进化方法研究禽流感病毒的跨地域传播”“基于大数据整合挖掘的肾细胞癌分子进化机制研究”等;商业、交通、环保等领域的大数据方法研究项目有:“大数据背景下的商业模式创新机制研究”“大数据驱动的产品精确设计理论、方法及其应用研究”“大数据环境下的复杂城市交通系统预测与控制”“数据驱动的我国PM2.5污染规律模型智能构建方法研究”“大数据驱动的我国典型重点流域水污染防控决策研究”以及“数据驱动的军事复杂系统风险决策分析方法及其应用研究”“面向军事情报的多媒体大数据分析与展示”等项目。

4大数据的分析基础

开发数据的核心是数据分析,也就是说大数据技术的核心是数据分析技术。目前,大数据分析技术主要在传统方法上延伸拓展,还没有从本质上解决大数据利用面临的挑战。这需要探索大数据分析技术的共性问题,主要研究方向如下。

(1)传统数据分析算法的改进原理

现有的大数据分析理论与方法大多从传统的统计分析、数据挖掘、机器学习、数据融合等领域派生出来,例如K-means++[5]、K-meansⅡ[6]等聚类算法对经典K-means算法进行了改进,实现了大规模数据高效聚类。大数据的特点使现有方法超出了其使用条件和范围。因此,如何在拓展原有方法的基础上,研究适用于大数据特征的数据分析方法成为大数据时代的挑战,包括研究扩展传统的数据挖掘、机器学习、数据融合算法的原理。

(2)新型数据挖掘算法

大数据挖掘是从大数据中寻找其规律的技术[7]。大数据具有高价值、低密度的特性,“寻找”变得更具挑战性。分类分析需要有标签的训练集指导建模,但是大数据集中大多是没有经过专家打好标签的数据,需探索新的分类方法,以利用较少的有标签样本和较多的无标签样本进行学习。此外,面向高价值低密度的大数据集,存在这样一类数据挖掘需求:发现给定大数据集里面少数相似的数据对象组成的、表现出相异于大多数数据对象而形成异常的群组,被称为特异群组挖掘[8-10]新的大数据挖掘方法研究包括特异群组挖掘方法、面向海量数据查询的相似性计算方法、大规模带时序可信知识图谱自动构建方法、动态大图分析方法等。

(3)高维数据分析方法

通过对大数据本身的压缩来适应有限存储和计算资源,除了研发计算能力更强、存储量更大的计算机之外,维规约技术(包括选维、降维、维度子空间等)是一类有效的方法,但也具备技术挑战。需要面向不同类型的数据研究语义保持下的大数据维规约技术(包括特征分析、特征选择、降维、子空间等),形成新的高维大数据分析方法和理论。

(4)深度学习方法

国家自然科学基金委员会在大数据分析基础方面资助的项目有:“大数据机器学习分布式算法的可行性理论”“基于知识指导和模糊信息粒化的时序大数据分析和挖掘”“RADIUSK-means算法及其拓展问题的研究”“基于多源异构不确定数据的高效用信息挖掘的研究”“面向图像序列的深度学习理论与方法”“面向大数据的快速关联分析关键技术研究”“面向大数据分析的自学习网络关键技术研究”“基于认知计算的大数据挖掘理论与技术”项目等。

5大数据的数据基础

(1)大数据治理

确保数据稀缺性不丧失和隐私不泄露是推动和实现数据开放共享的关键,有必要探索数据隐私保护机制及模型、大数据权属认定与保障理论及体系、区块链技术,构建数据自治开放理论体系,推动大数据交易。

(2)外部数据的质量保障机制

(3)大数据建模

关系模型、面向对象模型在以前的数据管理技术中发挥了核心作用。但原有的数学模型多是针对一种类型的数据,而大数据中包含结构化数据、半结构化数据和非结构化数据,因此需要研究相应的建模方法,将不同类型的数据从语义上关联在一起,以复杂关联网络等技术为基础研究连接各种不同类型数据的数据描述机制,支撑对大数据的管理。

(4)大数据索引

传统索引结构常用于结构化数据库系统,能够提高小规模数据检索速度和查询表连接效率。然而,大数据环境下,传统索引结构存在冗余、存储空间过大、更新困难以及不适用于分布式存储环境等缺陷,这需要针对大数据的存储与数据特性研究大数据索引,包括非结构化数据索引结构、基于分布式存储的数据索引结构、高维与多目标需求下的数据索引结构等多种索引模型和索引性能评估模型。

(5)大数据可视化机理和方法

(6)知识图谱

知识图谱用于刻画实体或概念及其之间的关系,在大数据环境下,知识图谱更新和复杂性都急剧增加,为构建高质量知识图谱和实现有效推理,需要研究复杂知识图谱的语义描述方法、不确定知识图谱的构建与管理、基于知识图谱的多种类型数据表示模型、跨结构数据的存取机制和语义表示等。

国家自然科学基金委员会对数据基础研究方向的资助项目有:“大数据协同计算及查询服务的隐私保护”“大数据环境下的首席数据官、数据治理及组织绩效关系研究”“高质量大数据集成关键技术的研究”“大数据一致性错误管理理论与关键技术”“大数据集背景下概念格的多粒度构造和存储研究”“分布式不确定数据查询处理关键技术研究”“面向大数据的信息可视化设计方法研究”“高维大数据可视化的散度模型、算法及评价”“基于外存的海量知识图谱数据的查询处理”等。

6大数据的计算基础

(1)新型高效能系统结构

当前,计算机系统的计算部件、存储部件、通信部件的功能和性能已朝着高速、高容量、高带宽的方向发展,并具有可编程、可定制等特点。如何利用这些部件构建新型高效能计算机系统满足大数据处理需求,是一个迫切需要解决的问题。这需要探索可重构、高度可配置的新型高效能系统结构;研究计算、存储和通信部件的有机结合、按需配置、弹性伸缩的方法;研究可变结构、软硬件结合的拟态计算机系统结构;研究高效能分布式存储系统的构建原理。

(2)性能导向的大数据计算框架

大数据的规模、计算时效性以及异构数据分布存储的特征,对计算机系统的高通量、高时效和高并行提出了挑战。性能导向的并行计算框架是应对大数据挑战的关键和基础。这需要研究分析大数据应用的计算特征、通信特征和存储特征;研究并行计算系统的高通量、高时效计算技术,包括实时分布式内存系统、内存计算系统、异构多核平台的性能加速技术等;研究性能可预测的并行计算模型。

(3)多地计算/异地计算理论与方法

数据大的难以移动、数据重要的不愿移动,在此背景下,如何求解一个全局问题是一大挑战。通常在大数据所属地计算局部解,即大数据应用具有数据存储的分布性问题,在数据所在地进行计算,产生的部分计算结果可能出现不一致、相互背离等现象,需要通过不同方式的计算进行验证,这给求解全局问题带来挑战。因此,需要研究大数据多地计算/异地计算基础问题,包括异地计算行为建模;研究局部解的局限性评估机制、局部解发送接收的身份验证机制、局部解的优化融合策略;研究全局解的最优性评估机制、提高全局解最优率的异地选取策略等。

7大数据的数学基础

(1)大数据的代数系统

关系代数为关系型计算提供理论依据。然而,高扩展性是大数据分析的重要需求,传统的关系数据模型难以胜任当前存在的非结构化数据(如文本数据、序列数据、流式数据等)的处理。近年来,已出现一些非关系型数据库(如HBase、MongoDB等),在非结构化数据上的复杂数据分析能力有所提高,并得到广泛应用。但是,目前缺少对非关系型数据库的数据代数的研究。对于非关系型数据,定义由数据集构成的集合上的度量方法和运算,形成一定论域上的数据代数等,这些都将在数学基础上对非关系型数据提供理论支持,有望突破现有技术瓶颈。

(2)大数据内在数学结构

数据有复杂的拓扑、网络等不同结构,在大数据问题中,数据本身往往具有更为复杂的内在数学结构,例如,高维数据空间中因为具有一定的约束条件而具有流形的数据结构;又如,在图像等非结构化数据中,先天性地具有低秩的数学性质。在深刻理解和挖掘内在相应结构的基础上,才能有效建立分析模型。针对大数据集的流形或复形等复杂数学结构和稀疏、低秩等数学性质,设计合理描述的数据结构,构建相应的度量,选取多尺度自适应的基底表示,为构建分析模型、形成反映内在结构参数的分析算法提供理论支撑,并通过数学结构的性质,保证算法的适用性。

(3)大数据的相似性度量

相似性是数据挖掘分析任务的核心。简单数据类型的相似性度量支撑传统数据分析模型,然而,针对复杂数据类型,这些相似性度量难以真实反映数据之间的关系。针对大数据复杂性特征,定义空间非刚性结构的相似性度量和超高维、多类型的大数据相似性度量,发展非线性降维方法、核理论以及相应的高效算法和稳定性分析。

8结束语

参考文献:

[1]朱扬勇,熊贇.大数据是数据、技术,还是应用[J].大数据,2015007

ZHUYY,XIONGY.Definingbigdata[J].BigDataResearch,2015007.BigDataResearch,2015007.

[2]MOOREGE.Themicroprocessor:engineofthetechnologyrevolution[J].CommunicationsoftheACM,1997,40(2):112.

[3]HEYT,STEWARTT,KRISTINT.Theforthparadigm:data-intensivescientificdiscovery[M].Beijing:MicrosoftResearchPress,2009.

[4]CARMID,FALKOWSKIA,KUFLIKE,etal.Higgsafterthediscovery:astatusreport[J].JournalofHighEnergyPhysics,2012,arXiv:1207.1718.

[5]BAHMANIB,MOSELEYB,VATTANIA,etal.Scalablek-means++[J].ProceedingsoftheVLDBEndowment,2012,5(7):622-633.

[6]ARTHURD,VASSILVITSKIIS.K-means++:theadvantagesofcarefulseeding[C]//18thACM-SIAMSymposiumonDiscreteAlgorithms,January7-9,2007,NewOrleans,Louisiana,USA.NewYork:ACMPress,2007:1027-1035.

XIONGY,ZHUYY,CHENZY.Bigdatamining[M].Shanghai:ShanghaiScientific&TechnicalPublishersPress,2016.

[8]熊贇,朱扬勇.特异群组挖掘:框架与应用[J].大数据,2015020.

XIONGY,ZHUYY.Abnormalgroupmining:frameworkandapplications[J].BigDataResearch,2015020.

[9]XIONGY,ZHUYY,YUPS,etal.Towardscohesiveanomalymining[C]//27thAAAIConferenceonArtificialIntelligence(AAAI),July14-18,2013,Bellevue,Washington,USA.SanFrancisco:AAAIPress,2013:984-990.

[10]XIONGY,ZHUYY.Miningpeculiaritygroupsinday-by-daybehavioraldatasets[C]//IEEEInternationalConferenceonDataMining(ICDM),December6-9,2009,Miami,Florida,USA.NewJersey:IEEEPress,2009:578-587.

[11]HINTONGE,SALAKHUDINOVRR.Reducingthedimensionalityofdatawithneuralnetworks[J].Science,2006,313(5786):504-507.

THE END
1.大数据大数据算法大数据算法的技术涵盖了多个领域,包括分布式存储与处理、数据挖掘、机器学习、图计算、文本挖掘与自然语言处理、推荐系统、关联规则挖掘、时间序列分析、异常检测、数据压缩与降维、网络分析、模式识别等。这些算法的选择取决于具体的应用场景和问题要求,通常需要综合倾斜考虑算法的效率、准确性、可扩展性等因素。 https://blog.csdn.net/xiaoyingxixi1989/article/details/141688931
2.大数据:聚类算法深度解析聚类分析的应用非常广泛,从市场细分到图像分割,都离不开聚类的帮助。通过深入理解聚类分析的概念和方法,我们能够更好地应用它来解决实际问题。 1.2 大数据背景下的挑战 在大数据背景下,数据量巨大、多样性高、实时性要求等因素给聚类分析带来了巨大的挑战。传统的聚类算法可能无法有效处理这些庞大的数据集,因此需要采用http://www.360doc.com/content/24/0111/21/78411425_1110749888.shtml
3.PrefixSpan算法的基本概念51CTO学堂序列模式挖掘和和关联规则算法是比较类似的,但项集是有序的,相对关联规则的推荐算法更精准。 本课就从序列模式挖掘简介、序列模式挖掘应用场景、 序列模式挖掘基本概念、PrefixSpan的基本概念、PrefixSpan算法流程、PrefixSpan算法优势和劣势、Spark MLlib实现的PrefixSpan源码实战、充电了么自研序列模式挖掘源码实战等从理https://edu.51cto.com/lesson/831195.html
4.干货一文读懂工业大数据的算法与模型基本知识与应用算法和模型是大数据分析系统中的两个问题,很多时候人们无法将这两个概念准确的区分开来,或者在某些场景下经常把算法和模型当做是同一个概念。实际上,算法和模型是有紧密联系的。 数据分析的算法是一般规则,所采用的方法是具有通用性和一般性的,如果需要用算法来解决实际的问题,达到商业的价值,就需要将算法和实际的应https://www.evget.com/doclib/s/14/10645
5.什么是大数据数据挖掘6帆软数字化转型知识库大数据和数据挖掘是两者之间既有联系又有区别的概念。大数据指的是体量巨大、结构复杂且增长速度快的数据集合,通常用来描述企业和组织所面临的数据挑战。数据挖掘则是从大数据中提取有价值的信息和知识的过程,通过应用各种算法和技术发现隐藏的模式和关系。大数据强调的是数据的规模和多样性、数据挖掘强调的是从数据中提取https://www.fanruan.com/blog/article/602195/
6.大数据的详细定义三种类型的大数据 结构化数据:这类数据最容易整理和搜索,主要包括财务数据、机器日志和人口统计明细等。结构化数据很好理解,类似于 Excel 电子表格中预定义的行列布局。这种结构下的数据很容易分门别类,数据库设计人员和管理员只需要定义简单的算法就能实现搜索和分析。不过,即使结构化数据数量非常大,也不一定称得上大数https://blog.itpub.net/70041355/viewspace-3029299/
7.大数据基础术语精粹来袭大数据,或称巨量资料,指的是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。 二、大数据的4V: Volume(大量)、Velocity(高速)、Variety(多样)、Value(价值) 三、当前用于分析大数据的工具主要有开源与商用两个生态圈 http://www.mudan.gov.cn/2c908084831c4eb30183205259ac001f/2c908084831c4eb3018320df837d0020/1669185201282129920.html
8.许成钢:大数据从市场上来,如果把市场消灭了,数据没有了再一点就是今天讨论人工智能也好、讨论相关的激励机制问题也好,有一个重要基本概念——硬数据和软数据,硬数据就是前面我提到过的,所有可以度量可以传递的数据;但是,永远和硬数据对应的还有一部分是软数据,软数据是没有办法用传感器或移动设备度量的,不能度量就无法传递、无法处理。所以当我们讨论人工智能是基于大数据训https://www.thepaper.cn/newsDetail_forward_1804344
9.浅析“大数据杀熟”维权路径,守护平安3·15一、概念解析 “大数据杀熟”是指互联网平台对老用户杀熟。大数据挖掘算法获取用户信息并对用户进行“画像”分析,基于其获取的用户消费频率、消费习惯、消费能力等信息,在消费者不知情的情况下,向老用户收取高于新用户的价格,且该价格并不反映成本差异,实现“千人千价”。 http://www.xufenglawfirm.com/a/571
10.DizzyK/ustccyber大数据算法 密码工程原理与实践 数据建模与分析基础 网络优化导论 机器学习及其安全应用 网络空间安全数学建模基础 2020级王小谟英才班 专业核心课 编译原理和技术 ( H ) 编译原理和技术的高级课程 2020级第二学士 必修课 网络算法学 数字图像处理与分析 https://toscode.gitee.com/DizzyK/ustc_cyber_security
11.《数据结构与算法》课程教学大纲能力贡献:通过学习数据结构与算法的基本概念和基本原理,增强学生对抽象数据类型的理解能力;通过用C++编程语言实现数据结构和算法,增强学生的程序设计能力;掌握基本的算法分析技术,增强对算法流程和程序实现的分析能力;通过分析数据结构与算法的应用案例、上机练习以及数据结构与算法应用设计,培养学生利用所学知识解决具体问题https://www.cse.cqu.edu.cn/info/2105/3558.htm
12.2020年中国人工智能+物流发展研究报告界面新闻·JMedia尤其是对配送时效性要求非常高的即时物流领域,在引入基于机器学习与运筹优化算法的订单分配系统后,将行业发展初期使用的效率较低的骑手抢单模式和人工派单模式转变为系统派单模式。即时物流订单分配本质上可以看作是带有若干复杂约束的动态车辆路径问题(DVRP),订单分配系统的工作原理是以大数据平台收集的骑手轨迹、配送业务https://www.jiemian.com/article/4654860.html
13.大数据算法(王宏志著)完整pdf扫描版[101MB]电子书下载大数据算法是国内系统介绍大数据算法设计与分析技术的教材,内容丰富,结构合理,旨在讲述和解决大数据处理和应用中相关算法设计与分析的理论和方法,切实培养读者设计、分析与应用算法解决大数据问题的能力。不仅适合计算机科学、软件工程、大数据、物联网等学科的本科生和研究生使用,而且可供其他相近学科的本科生和研究生使用。https://www.jb51.net/books/583619.html
14.神经网络算法:大数据分析的强大工具神经网络算法作为一种重要的机器学习算法,在大数据分析中发挥着越来越重要的作用。本文将围绕“大数据 神经网络算法 神经网络算法综述”这一主题,分以下几个部分进行阐述:摘要、引言、文献综述、结论和参考文献。在引言部分,我们将介绍大数据和神经网络算法的基本概念,简要说明本文的研究范围和目的,重点突出神经网络算法在https://developer.baidu.com/article/detail.html?id=1831261
15.郑智航徐昭曦:大数据时代算法歧视的法律规制与司法审查——以内容提要:算法自动化决策为人们带来方便的同时,也可能因其决策过程的不透明和信息不对称而对某些群体造成歧视。实践中,算法歧视主要表现为偏见代理的算法歧视、特征选择的算法歧视和大数据杀熟三种基本形态。为了消除算法歧视给社会带来的影响,各国政府采取了一系列的规制措施。从规制的空间维度来看,这些措施包括原则性规制https://www.legal-theory.org/?mod=info&act=view&id=25344
16.大数据的基本概念和应用基础大数据集群为什么是奇数台服务器? 因为hadoop框架需要奇数台服务器 因为kafka需要奇数台服务器 因为zookeeper的半数存活机制 因为hdfs的存储机制 * HDFS是( ) 计算引擎 资源调度器 文件系统 辅助工具 * Hive的默认计算引擎是( ) HDFS Spark Tez MR * https://www.wjx.cn/vm/wVwUfsl.aspx
17.孟勤国谈算法歧视侵害消费者权益——是大数据和算法技术运用引发算法作为人机互动的机制,即人类通过代码设置、数据运算于机器自动化判断与决策,其公正性取决于人的意志而非算法技术。算法技术运用可能对特定群体或个体出现系统、重复的不公正结果,构成算法歧视,如算法价格歧视、算法就业歧视、算法信用歧视等。算法歧视侵害消费者权益,其中,以大数据杀熟最为普遍。大数据杀熟是经营者利用https://m.yunnan.cn/system/2023/06/07/032618660.shtml
18.大数据:数据挖掘十大经典算法概述腾讯云开发者社区大数据:数据挖掘十大经典算法概述 国际权威的学术组织theIEEEInternationalConferenceonDataMining(ICDM)2006年12月评选出了数据挖掘领域的十大经典算法:C4.5,k-Means,SVM,Apriori,EM,PageRank,AdaBoost,kNN,NaiveBayes,andCART. 不仅仅是选中的十大算法,其实参加评选的18种算法,实际上随便拿出一种来都可以称得上是经典https://cloud.tencent.com/developer/news/236172
19.大数据日知录(豆瓣)大数据是当前最为流行的热点概念之一,其已由技术名词衍生到对很多行业产生颠覆性影响的社会现象,作为最明确的技术发展趋势之一,基于大数据的各种新型产品必将会对每个人的日常生活产生日益重要的影响。 《大数据日知录:架构与算法》从架构与算法角度全面梳理了大数据存储与处理的相关技术。大数据技术具有涉及的知识点异常众多https://book.douban.com/subject/25984046/
20.清华教授彭兰:数据与算法时代的新风险数据分析算法大数据“数据,在本质上,是人类观察世界的表征形式。不论是过去的小数据,还是现在的大数据,研究数据,在某种程度上,其实在本质上都是在研究人本身……人类文化是存在偏见的,作为与人类社会同构的大数据,也必然包含着根深蒂固的偏见。而大数据算法仅仅是把这种歧视文化归纳出来而已。” https://tech.sina.com.cn/it/2018-11-05/doc-ihmutuea7098355.shtml