AI基础:模型算法和训练的关系及迁移学习

模型、训练、算法这几个概念是机器学习和深度学习的最基础,现在看来有必要说明一下。以下所有解释均仅限于人工智能领域。

模型

模型是什么?通常形容AI语境下的模型一词时,比较多的情况会类比数学领域的函数。不过个人感觉,那样比较容易跑偏,不如我们先姑且将它理解成是“一个程序”吧。

模型这种“程序”接受输入,经过一系列内部处理,给出输出——在这一点上它和普通意义上的程序一样。

模型和普通程序不一样的是:后者是人类直接编写出来的,而前者则是经有另外一个人类编写的训练程序训练出来的。

从某种意义上可以说,模型是程序产生的程序。

这个训练模型的程序(简称训练程序),一般情况下是实现了某一种训练算法,这个算法接受输入的数据,进行某些运算,运算的结果就形成了模型。

训练程序运行的过程就叫做训练,模型是训练程序的输出,训练的结果。

说到这里,我们已经涉及到了四个概念:A.普通程序;B.模型;C.训练程序;和D.算法。

它们之间的关系见下图:

普通程序、模型和训练程序的共性是:接受输入数据;内部处理输入的数据后生成输出数据;输出输出数据。

但是它们仨又有所不同:

1.A(普通程序)和C(训练程序)都是人类编写出来的;而B(模型)则是C运行的结果(输出)。

2.A和B对输入输出的处理是静态的;而C对输入输出的处理是动态的。

关于不同之处的第2点——“静态处理输入输出”和“动态处理输入输出”的区别,我们需要特别解释一下。

静态是指:对于A(普通程序)和B(模型)而言,给它们一个特定的输入,它们就会给出一个特定的输出。

A和B能够处理的数据非常多,但就算是各自接受一百万份输入,每份输入对应的输出都是既定的,并不会因为A或B之前已经处理了其他的数据而产生不同的输出。

而动态则是说:C(训练程序)在获得不同的输入后会输出不同的B(模型)。

训练、训练数据与模型

“训练程序在获得不同的输入数据后输出不同的模型”——这是什么意思?

来看个例子:

我们用某个训练程序c0训练了包含2M样本的数据集Dataset_1,生成了一个模型b1。

后来,我们又获得了包含另外1M样本的数据集Dataset_2。既然又有了新数据,自然就想把Dataset_2也用于c0的训练。那么我们可以:

方式i)用Dataset_2从头开始训练,可以获得模型b2;

或者,方式ii)将b1作为预训练模型,在它的基础上,用Dataset_2继续训练,获得模型b1’。

按照上述两种方式,c0同样是处理Dataset_1+Dataset_2共3M的样本数据,但因为具体的训练方式(运行c0的方式)不同,输出的结果是不同的。

方式i)输出的两个模型:b1是基于2M样本获得的,b2是基于1M样本获得的。

方式ii)输出的两个模型:b1基于2M样本,而b1’则是基于3M样本!

两种方式中的b1是一样的,b2和b1’却差距颇大。

b2仅具备从Dataset_2中学习到的知识;而b1’除了Dataset_2,还学习了Dataset_1中的知识——这一部分不是通过直接的训练,而是通过已经训练出来的b1间接得到的。相当于b1先学习了Dataset_1中蕴含的知识,再移交(transfer)给了b1’.

顺便说一下,方式ii)又叫做迁移学习(TransferLearning),是不是有点耳熟?

造成这样差异的原因不是数据,也不是训练程序本身,而是训练的方式不同。这就是训练程序的特色啦!

A,B和C虽然有所不同,但基本上还是同一个层次的概念——都是程序嘛。

D和它们又有什么关系呢?

简单来说,D(算法)是C(训练程序)的灵魂;或者说,D是C的原理,而D是C的具体实现。

如果你还要继续问:什么是原理,什么又是实现?

原理就是从抽象层面上来讲一件事情应该怎么做,而实现则是指在现实中把这件事情做出来。

THE END
1.人工智能的常用十种算法导读:人工智能是科技研究中最热门的方向之一。 一、决策树 根据一些feature(特征)进行分类,每个节点提一个问题,通过判断,将数据分为两类,再继续提问。这些问题是根据已有数据学习出来的,再投入新数据的时候,就可以根据这棵树上的问题,将数据划分到合适的叶子上。 https://zhuanlan.zhihu.com/p/554829457
2.算丰赋能千视通携手算能推出AI算法训推一体机千视通携手算能推出AI算法训推一体机,运用算法自训练技术、数据驱动的优化技术、流程化数据再采集与标注的数据挖掘技术,打造AI算法训推一体机,为行业数智化转型提供高效而低成本的人工智能算法,赋能智慧金融、轨道交通、城市治理、公共安全等多个应用领域。 https://www.keensense.cn/shows/180/94.html
3.人工智能算法和模型训练实训报告.docx人工智能算法和模型训练实训报告 摘要 本实训报告旨在探讨人工智能算法和模型训练的相关内容。我们使用了不同的机器学习算法和训练技术来构建和优化模型,并对其进行评估和比较。通过实际的实训操作,我们深入理解了人工智能算法和模型训练的原理和应用。 引言 人工智能算法和模型训练是人工智能领域中的关键概念。它们通过使用https://m.book118.com/html/2023/1107/5102012020011004.shtm
4.人工智能的训练过程人工智能执行复杂任务、做出决策甚至模拟人类的思考过程背后,是一个复杂而精密的训练过程。 一、 数据收集与准备 人工智能的训练始于数据。首先,需要收集大量相关的数据,这些数据构成了训练算法的基础。数据类型可以根据应用的需求多种多样,包括文本、图像、声音或数值数据等。一旦数据被收集,接下来就是清洗和预处理,以https://www.jianshu.com/p/56eda120de76
5.极栈AI中台AI算法训推一体平台AI开发训练平台●预置YoloV7,Segment Anything等CV大模型,实现60%数据的智能标注,标注效率提升300%;利用少样本标注数据自监督学习,覆盖全场景标注 ● 自动生成汇总平台所有源数据质量和数据集质量测评情况,协助快速定位问题,确保数据完整性、一致性、准确性 算法开发 ● 极栈平台提供AutoML及自动化算法迭代优化技术,模型训练自动化程度https://www.extremevision.com.cn/extreme-flow/
6.智东西周报:315曝光AI被用于打骚扰电话中国AI专利排名超过美国戴金权表示,针对上述现象,英特尔基于至强计算平台、傲腾数据存储器结合英特尔的云服务推出了大数据分析与人工智能统一平台Analytics Zoo,它可以将分布在Tensorflow、Keras、Apache Spark等不同深度学习框架上的数据整合到同一个工作流中进行处理,再将训练结果无缝部署到云端,统一的流程简化了人工智能算法训练与部署的流程,提高https://zhidx.com/p/142810.html
7.人工智能训练平台数据集管理和自定义算法管理的一站式人工智能训练平台。 立即体验 统一的人工智能运行环境 兼容以TensorFlow、PyTorch、Caffe为主的人工智能计算框架,支持多种计算运行库, 提供容器化与虚拟化计算资源,利用分布式计算优势,提高模型训练效率。 立即体验 工业智能平台,开放智慧企业ET大脑服务能力 https://ei.casicloud.com/
8.龙岗区新基建重大举措!打造AI算法训练平台赋能AI小镇人工智能启动仪式上,区产服集团围绕AIOS算法训练平台,阐述了产业AI化,园区AI化,运营AI化的建设理念,介绍了园区建设进度和面向人工智能相关企业的招商优惠政策。 目前,龙岗区AI算法训练赋能平台在区大数据中心的大力推动下,已部署完成,进入招募企业试用阶段,龙岗区产服集团已在AI小镇智慧中心内配套规划了专设的封闭式数据开放实http://www.lg.gov.cn/bmzz/qcfjt/xxgk/gzdt/qyyw/content/post_8112720.html
9.AI入门指南(二):算法训练模型大模型是什么?人工智能(AI)已经成为现代科技的热门话题,但对于刚接触这个领域的人来说,其中的一些基本概念可能会感到困惑。本文将带你了解AI的几个关键概念:算法、模型、训练和大模型,并通过生活中的例子和实际应用来深入浅出地解释这些概念。 二、算法是什么? 概念 https://blog.csdn.net/weixin_41076816/article/details/141178706
10.“江苏工匠”岗位练兵人工智能训练师(算法测试)职业技能竞赛在我4月21日, 2023年“江苏工匠”岗位练兵人工智能训练师(算法测试)职业技能竞赛在江苏信息职业技术学院成功举行。 此次比赛由江苏省人力资源和社会保障厅全程指导,由江苏省人工智能学会申办,江苏信息职业技术学院承办,江苏华众易教育科技有限公司协办,随机数(浙江)智能科技有限公司提供技术支持。本次大赛设有职工(教师)组、https://www.jsit.edu.cn/iot/info/1133/4939.htm
11.起点人工智能无需算法基础,就能制作AI算法无需算法基础。任何人动动鼠标,三步就能定制出人工智能算法。最快一天就能训练出AI算法,并投入使用。大幅节省人力成本,缩短开发周期。 随时依据客户实际项目定制与优化算法,确保AI项目落地与回款。 离线训练,算法与数据无法泄露到竞争对手,持久提升自己的核心竞争力,确保高额利润。 http://www.qdianai.com/
12.关于人工智能训练师职业认证通知51CTO博客(3)人工智能训练师三级(高级工) ① 主要从事业务流程设计和分析,人工智能算法训练和测试,智能系统产品设计等方向的工作。 ② 专业要求:数学,物理学,统计学,电子与信息大类,教育与体育大类,医药卫生大类,装备制造大类。 ③ 可胜的任岗位/薪资: 人工智能产品经理、人工智能售前工程师 薪资范围在6000元-13000元/月https://blog.51cto.com/u_13859040/5888111
13.BP神经网络的Matlab实现——人工智能算法腾讯云开发者社区BP神经网络的Matlab实现——人工智能算法 大家好,又见面了,我是你们的朋友全栈君。 这几天在各大媒体上接触到了人工智能机器学习,觉得很有意思,于是开始入门最简单的机器算法——神经网络训练算法(Neural Network Training);以前一直觉得机器学习很高深,到处是超高等数学、线性代数、数理统计。入坑发现确实是这样!但是https://cloud.tencent.com/developer/article/2033420
14.人工智能算法知识考试题库500题(供参考).docx人工智能算法知识考试题库500题(供参考)输出的featuremap矩阵的结构是()。C、1是错的,2是对的A、精度与错误率的和为1B、深度优先搜索C、有界深度优先搜索D、启发式搜索16.下列哪个函数不可以做非线性激活函数?()17.Softmax算法中温度趋近于0时Softmax将趋于(A、仅探索B、仅利用解析:见算法解析A、1A、K-https://www.renrendoc.com/paper/295898614.html
15.心理学知识算法AI大模型训练也需要“鼓励”04同时,心理训练师们需要设计各种测试题目,寻找并优化隐藏在底层的一些认知盲区。 05随着新质生产力的推进,跨界融合的职业如AI心理训练师将持续涌现。 以上内容由腾讯混元大模型生成,仅供参考 大家一般认为研发AI大模型的都是学人工智能的工程师,而今天我们要认识的是几位学心理学的训练师,他们与大模型之间有着怎么https://new.qq.com/rain/a/20240529A03THF00
16.一文看懂机器学习「3种学习方法+7个实操步骤+15种常见算法」本文将从「机器学习」在人工智能领域里的位置说起,从基本思路和运行原理,用最通俗易懂的方式来解释什么是机器学习。然后是3种机器学习的训练方法:监督学习、非监督学习、强化学习。最后我们将讲解「机器学习」实操的7个步骤和15种常见的机器学习具体算法。最后为大家准备https://easyai.tech/ai-definition/machine-learning/
17.严嘉欢王昊论生成式人工智能中个人信息保护的困境纾解生成式人工智能是人工智能技术的一次重大应用创新,但也带来了新的个人信息保护问题。现有的个人信息保护法所确立的信息保护制度框架尚不足以充分应对生成式人工智能所带来的新的挑战。生成式人工智能算法具有高度复杂性,在很大程度上架空了现有的用户知情同意机制。个人信息保护法所确立的最小必要原则等个人信息保护原则难https://www.jfdaily.com/sgh/detail?id=1244044