详解:迁移学习在大数据领域的重要意义新闻中心数据观中国大数据产业观察

我们先来看一下网络上比较通用的一种表达:“学习迁移即一种学习对另一种学习的影响,它广泛地存在于知识、技能、态度和行为规范的学习中。任何一种学习都要受到学习者已有知识经验、技能、态度等的影响,只要有学习,就有迁移。迁移是学习的继续和巩固,又是提高和深化学习的条件,学习与迁移不可分割。”

以上这段话是不是太绕了?通俗的说,学习迁移就是把学习一种知识的经验运用在学习另一种知识中,从而快速建立起新领域的知识和能力。古语所说的“举一反三”、“触类旁通”就是典型的学习迁移。举一反三来自《论语·述而》,孔子曾对他的学生说:“举一隅,不以三隅反,则不复也。”意思是说“我举出一个方面,你们应该要能灵活的推想到另外几个方面,如果不能的话,我也不会再教你们了。”后来就把孔子说的这段话变成了“举一反三”这句成语,意思是说学一件东西,要可以灵活地思考,运用到其他相类似的东西上。

那么学习的迁移是不是一定可行呢,其实不然,学习的迁移有一定的影响因素和理论基础。

主要影响因素:

学习迁移的效果在一定程度上取决于学习材料之间的共同因素。由于材料之间存在着共同的因素,就会产生相同的反映,因而在学习中就会产生不同程度的迁移。

对学习材料的概括水平,苏联著名心理学家鲁宾斯坦(C.Л.Pyбцнusтеǔн)强调,概括是迁移的基础。

知识的组织结构和受众的认知结构,知识教材是学习的基本材料,其科学的基本结构有助于学习的迁移。

学习的指导和训练,形式训练说假定,人类大脑的许多区域代表了许多不同的官能。人的心智是由许多不同的官能组成的,不同的官能活动相互配合就构成各种各样的心理活动。各种官能可以像训练肌肉一样通过练习增加力量(能力)。

「学习的迁移(顺向、逆向作用)」

主要理论基础与分类(7类):

(1)正负零:正迁移,一种学习对另一种学习起到积极的促进作用,例如:学习数学有利于学习物理,学习珠算有利于学习心算;负迁移,两种学习之间互相干扰、阻碍,例如:方言影响普通话的学习;零迁移,两种学习间不存在直接的互相影响。

(2)顺向逆向:顺向迁移,先前的学习对后来学习的影响,例如:举一反三;逆向迁移,后来的学习对先前学习的影响。

(3)一般具体(也称非特殊迁移与特殊迁移):一般迁移,一种习得的一般原理、方法、策略或态度迁移到另一种学习中去,例如:获得基本的运算技能、阅读技能以后,运用到各种具体的学科学习中;具体迁移,一种学习中的具体特殊性经验直接运用到另一种学习中。

(4)近远自动:自迁移,个体所学的经验影响着相同情景中的任务操作;近迁移,把所学的经验迁移到与原初学习情景相似的情境中;远迁移,把所学的经验迁移到与原初学习情景极不相似的情境中,例如:课堂知识运用到社会实践。

(5)水平垂直:水平迁移,处于同一抽象和概括水平的经验之间相互影响;垂直迁移,先前学习内容与后续学习内容是不同水平的学习活动之间的迁移。

(6)低通高通:低通路迁移,反复练习的技能自动化地迁移,例如:开过自家车的人可以轻松的开从朋友那儿借来的车;高通路迁移,有意识地将习得的抽象知识运用到新的情境中,例如:学习教育学时想到这些原理将会在之后的教育教学实践中应用。

(7)同化性、顺应性、重组性迁移(根据迁移过程中所需要的内在心理机制不同):同化性迁移,直接将原有的认知经验应用到本质特征相同的一类事物中去;顺应性迁移,将原有认知经验运用于新情境中时,需要调整原有的经验或对新经验加以概括,形成一种能包容新旧经验的更高一层的认知结构,以适应外界变化;重组性迁移,重新组合原有认知结构中某些构成要素或或成分,调整各成分间的关系或建立新的关系,从而应用于新情境。

以上,使大家简单地了解了学习的迁移,下面我们来谈一谈迁移学习。

关于迁移学习

实现迁移学习的方法有四种:1)样本迁移;2)特征迁移;3)基于模型的迁移学习;4)通过关系进行迁移,比如社交网络。”

杨强教授在研究过程中,详细阐述了机器学习领域:深度学习(DeepLearning)、强化学习(ReinforcementLearning)、迁移学习(TransferLearning)的差异,如图:

「深度学习、强化学习、迁移学习的差异」

深度学习主要强调的是特征,强化学习主要强调的是反馈,而迁移学习主要强调的是适应。

深度学习、强化学习,在大样本数据、数据总量丰富的情景下具有重要的意义,但在小样本数据下却很难发挥应应有的价值。

迁移学习则在小样本数据情况下,具有特别重要意义。

制约行业大数据快速发展和应用的一个特别严重的问题,就是在某些领域的既有数据量不足,如历史数据没有留存,又如缺乏有效的数据整理等等,总之由于数据量的不足就导致了无法根据已有的样本数据快速的进行机器学习和建模。

迁移学习可以有效解决上述难题,笔者从事和研究大数据应用在行业领域如何落地已有多年,深有感触。

数据量不足的问题:比如客户刚刚构建了一个电商平台,针对某款产品售卖,没有任何的数据,就无法建立模型对用户行为进行分析以及进行个性化推荐。一般来说,用户买一种货品还会买另一种货品,但如果知道客户在另外一个领域已经构建了很好的模型,这个模型又与新的业务比较类似,就可以通过迁移学习将模型迁移到新电商平台中,达到快速应用的目的。总体来说,就是有两个领域,一个领域已经有很多的数据,能成功地建一个模型,有一个领域数据不多,但是和前面那个领域是关联的,就可以把那个模型给迁移过来。

对于迁移学习来说,大数据分析模型如何有效管理并快速应用在其他领域是迁移学习最为关键的问题,而选择一款有效的工具则是解决问题的关键所在。

「SaCaRealRec数据科学平台产品组成」

SaCaRealRec数据科学平台软件:

作为数据科学平台,产品系统提供了标准的数据挖掘流程,包括数据采集、特征抽取、模型训练、评估评测以及部署应用五大关键功能。

「SaCaRealRec数据科学平台」

作者简介

田军,大连理工大学硕士,现任东软集团先行产品研发事业部咨询总监,在平台产品及企业信息化领域从业十多年,曾在东软集团基础软件事业部、东软云科技有限公司任职,目前专注于数据科学、人工智能等领域的研究,主要研究大数据项目如何在行业进行落地,服务过数百家行业领导者客户,在大数据、云计算、数据中心、企业应用平台、业务流程管理、企业信息化集成等领域具有多年实战经验。

THE END
1.数据挖掘师在市场中的地位与未来的展望随着大数据技术的飞速发展,数据挖掘这一领域也迎来了前所未有的爆炸性增长。作为一名专业的数据分析人员,数据挖掘师不仅需要具备深厚的数学和统计学知识,还要有强大的编程能力以及对业务模式的深刻理解。在这个信息爆炸时代,能够从海量数据中提取有价值信息的人才是最宝贵的。 https://www.f3kg3td6j.cn/jun-lei-zi-xun/496259.html
2.大数据就业方向及前景随着信息技术的飞速发展,尤其是云计算、人工智能和物联网等领域的大步前进,大数据作为一种新的资源和资产,不仅在学术研究中占据了重要位置,在商业应用和就业市场上也越来越受到重视。因此,我们将探讨大数据就业方向及前景,以及它如何塑造未来工作世界。 首先,让我们从最直接的影响开始。大数据分析师是这一领域中最受https://www.1lhyh3ij.cn/ke-yan-cheng-guo/496406.html
3.如何理解计算机大数据的应用?大数据技术在金融领域有什么作用?在投资决策中,大数据可以帮助投资者更好地了解市场趋势和资产表现。对海量的财经数据、公司财报、宏观经济指标等进行分析,挖掘有潜力的投资机会。 以下是一个简单的表格,展示大数据在金融领域不同方面的作用: 在客户关系管理方面,大数据能够实现个性化的金融服务。根据客户的消费习惯、投资偏好等为其提供定制化的产品和服务https://funds.hexun.com/2024-12-20/216300796.html
4.数据驱动时代的崛起探索大数据技术在各行各业的应用前景随着科技的飞速发展,大数据技术已经成为现代社会不可或缺的一部分。它不仅改变了我们处理信息和分析问题的方式,也为不同行业带来了新的就业机会。在这个数字化转型的大背景下,了解大数据技术在各行各业的大众市场潜力以及职业发展方向,对于那些希望加入这一领域的人来说至关重要。 https://www.uszlrttkj.com/sheng-zhu-pin-zhong/369515.html
5.人工智能与大数据的深度融合带来的创新应用在当今这个信息爆炸、技术快速发展的时代,大数据和人工智能(AI)已经成为两个不可或缺的关键词,它们在各自领域内产生了巨大的影响,并且正在逐渐相互融合,共同推动着社会进步。 1. 大数据:信息海洋中的宝藏 1.1 大数据的定义与特点 大数据通常指的是以TB级别为单位的大规模、高维度、半结构化或无结构化的信息集合。这https://www.ykngnhhi.cn/shou-ji/544151.html
6.数据挖掘和大数据技术有什么关系?数据挖掘在数据中台中的位置一、数据挖掘在大数据技术中的地位 1. 关键环节: - 数据挖掘是大数据技术流程中的重要组成部分。大数据技术涵盖了数据采集、存储、处理和分析等多个环节,而数据挖掘处于分析环节的核心位置。它从海量的大数据中提取有价值的信息和知识,为决策提供支持。 - 例如,在电商领域,通过大数据技术采集用户的浏览记录、购买行为等https://blog.csdn.net/alankuo/article/details/141561221
7.数据挖掘和大数据选哪个帆软数字化转型知识库数据挖掘和大数据在现代商业环境中同样重要,但它们服务于不同的目的。数据挖掘是一个过程,通过分析和识别数据中的模式和关系来发现有用的信息,常用于特定领域的数据分析,如客户行为分析、市场研究等。大数据则是指能够处理和分析海量数据的技术和方法,适用于处理大规模和高复杂度的数据集。如果你需要从现有数据中提取具https://www.fanruan.com/blog/article/589487/
8.大数据在环境监测中的应用.docx其中,大量和高速是大数据最基本的特征;多样性则是大数据的一个重要特点,因为不同类型的数据需要不同的处理方式;而低价值密度和真实性则使得大数据的处理和分析变得更加复杂。 3.应用:大数据的应用领域非常广泛,涵盖了商业、医疗、金融、教育、环保等多个领域。在环境监测中,大数据也发挥了重要的作用。 【环境监测背景https://m.renrendoc.com/paper/304959193.html
9.大数据导论数据挖掘数据挖掘作为大数据时代的重要应用领域,已经在许多行业中发挥着重要作用。通过发掘隐藏在大数据中的有价值信息和知识,数据挖掘为企业和组织提供了更准确的决策和预测能力。数据挖掘将会在技术和应用上不断进步和创新,为各个行业带来更多的机遇和挑战。数据挖掘行业正如一颗闪亮的明星,吸引着越来越多的关注和投资,为社会的http://chatgpt.cmpy.cn/article/5103080.html
10.大数据的特点及作用大数据作用二:第二,大数据是信息产业持续高速增长的新引擎。面向大数据市场的新技术、新产品、新服务、新业态会不断涌现。在硬件与集成设备领域,大数据将对芯片、存储产业产生重要影响,还将催生一体化数据存储处理服务器、内存计算等市场。在软件与服务领域,大数据将引发数据快速处理分析、数据挖掘技术和软件产品的发展。https://www.meipian.cn/w4x0tzj
11.江西省人民政府工作动态“大数据”在统计中的应用初探“大数据”在统计中的应用初探 内容摘要:基于计算机、互联网、移动互联网和物联网背景下的大数据,其重要性和作用已远远超出传统概念的数据。通过分析大数据,寻找相关性,发现规律性,增强预见性,带来“大知识”、“大科技”、“大利润”、“大智能”和“大发展”,大数https://www.jiangxi.gov.cn/art/2018/12/7/art_5472_408194.html
12.大数据在高等教育领域中的应用及面临的挑战国家政策法规摘要:对大数据概念与内涵的界定主要有3种方式,即生产导向的方式、过程导向的方式和认知导向的方式。大数据在高等教育领域应用对完善学校规划、促进学校发展,感知教学现实、提升教学效能,优化学习经历、提高学习质量以及促进科学研究、推动跨学科发展具有重要意义。教育大数据分析主要采用两种技术,即教育数据挖掘与学习分析。在https://manager.hkxy.edu.cn/s.php/pgztw/item-view-id-54267.html
13.数据挖掘论文(一)数据挖掘技术。数据挖掘是指从大量的、不规则、乱序的数据中,进行分析归纳,得到隐藏的,未知的,但同时又含有较大价值的信息和知识。它主要对确定目标的有关信息,使用自动化和统计学等方法对信息进行预测、偏差分析和关联分析等,从而得到合理的结论。在档案管理中使用数据挖掘技术,能够充分地发挥档案管理的作用,从https://www.unjs.com/lunwen/f/20220924130749_5650839.html
14.大数据在知识管理中的应用论文11篇(全文)大数据技术,就是从各种类型的数据中快速获得有价值信息的技术。 大数据领域已经涌现出了大量新的技术,它们成为大数据采集、存储、处理和呈现的有力武器。 大数据处理关键技术一般包括:大数据采集、大数据预处理、大数据存储及管理、大数据分析及挖掘、大数据展现和应用(大数据检索、大数据可视化、大数据应用、大数据安全https://www.99xueshu.com/w/file0xubc6p5.html
15.大数据与会计如何理解维度四:大数据在会计审计中的作用 在会计审计领域,大数据技术也发挥着越来越重要的作用。通过大数据技术,审计人员可以更深入地了解和分析企业的财务数据,准确识别出潜在的风险和问题。同时,大数据技术还可以帮助审计人员构建更为严谨和全面的审计模型和方法,提高审计效率和质量。 https://h.chanjet.com/ask/158e93ba8f432.html
16.大数据是什么?多大的数据叫大数据?可见,如果想投资大数据领域的公司,从C端下手难度很高。所以,我觉得在如果想在大数据行业布局,2B领域才是关键:一方面2B发展较晚,BAT还没有形成垄断;第二,开发门槛相对较高的;第三,数据量需求量相对较少,达到十万级别就可以为大数据的分析服务,所以如果想在大数据领域进行投资,要关注的主要领域是2B领域。 https://bigdata.51cto.com/art/201907/599042.htm
17.数据挖掘的应用嘲有哪些在教育领域,数据挖掘的应用一直很普遍,其中新兴的教育数据挖掘应用,主要集中在从教育机构的古老流程和系统中,提取数据的方法方式上。目标通常是通过使用先进的科学知识,让学生在各个方面成长和学习。数据挖掘,还通过确保向教育部门提供合适质量的知识和决策内容,来发挥作用的。 https://www.linkflowtech.com/news/2012
18.数据挖掘在哪些领域有广泛的应用?数据挖掘在商业、金融、医疗保健、社交媒体和互联网以及制造业等领域有着广泛的应用。随着技术的不断发展和数据量的不断增加,数据挖掘在未来将继续发挥重要作用,为各行各业提供更准确、更智能的决策支持。 CDA数据分析师考试相关入口一览(建议收藏): “CDA报名了解CDA考试详情; https://www.cda.cn/view/203664.html