一文读懂什么是机器学习

世界充满了数据——由人和计算机生成的图像、视频、电子表格、音频和文本充斥着互联网,将我们淹没在信息的海洋中。

传统上,人类分析数据以做出更明智的决策,并设法调整系统以控制数据模式的变化。然而,随着传入信息量的增加,我们理解它的能力下降,给我们带来了以下挑战:

我们如何使用所有这些数据以自动而非手动的方式推导意义?

这正是机器学习发挥作用的地方。本文将介绍:

什么是机器学习

机器学习算法的关键要素

机器学习是如何工作的

6个真实世界的机器学习应用

机器学习的挑战和局限性

这些预测是由机器从一组称为“训练数据”的数据中学习模式做出的,它们可以推动进一步的技术发展,从而改善人们的生活。

机器学习是一个概念,它允许计算机自动从示例和经验中学习,并在没有明确编程的情况下模仿人类的决策。

机器学习是人工智能的一个分支,使用算法和统计技术从数据中学习并从中得出模式和隐藏的见解。

现在,让我们更深入地探索机器学习的来龙去脉。

机器学习中有数以万计的算法,可以根据学习风格或所解决问题的性质进行分组。但每个机器学习算法都包含以下关键组件:

以上是机器学习算法的四个组成部分的详细分类。

描述性:系统收集历史数据,对其进行组织,然后以易于理解的方式呈现。

主要重点是掌握企业中已经发生的事情,而不是从其发现中得出推论或预测。描述性分析使用简单的数学和统计工具,例如算术、平均值和百分比,而不是预测性和规范性分析所需的复杂计算。

预测性:描述性分析侧重于分析历史数据并从中得出推论,而预测性分析侧重于预测和理解未来可能发生的事情。

通过查看历史数据来分析过去的数据模式和趋势可以预测未来可能发生的事情。

规范性:描述性分析告诉我们过去发生了什么,而预测性分析告诉我们通过从过去学习未来可能发生的事情。但是,一旦我们对可能发生的事情有了洞察力,应该做什么呢?

这就是规范性分析。它帮助系统使用过去的知识对一个人可以采取的行动提出多项建议。规范性分析可以模拟场景并提供实现预期结果的途径。

ML算法的学习可以分为三个主要部分。

机器学习模型旨在从数据中学习模式并应用这些知识进行预测。问题是:模型如何进行预测?

这个过程非常基础——从输入数据(标记或未标记)中找到模式并应用它来得出结果。

机器学习模型旨在将自己做出的预测与基本事实进行比较。目标是了解它是否在朝着正确的方向学习。这决定了模型的准确性,并暗示了我们如何改进模型的训练。

该模型的最终目标是改进预测,这意味着减少已知结果与相应模型估计之间的差异。

该模型需要通过不断更新权重来更好地适应训练数据样本。该算法循环工作,评估和优化结果,更新权重,直到获得关于模型准确性的最大值。

机器学习主要包括四种类型。

在监督学习中,顾名思义,机器在指导下学习。

这是通过向计算机提供一组标记数据来完成的,以使机器了解输入的内容以及输出应该是什么。在这里,人类充当向导,为模型提供带标签的训练数据(输入-输出对),机器从中学习模式。

一旦从以前的数据集中学习了输入和输出之间的关系,机器就可以轻松地预测新数据的输出值。

我们可以在哪里使用监督学习?

答案是:在我们知道在输入数据中查看什么以及我们想要什么作为输出的情况下。

监督学习问题的主要类型包括回归和分类问题。

无监督学习的工作方式与监督学习的工作方式恰恰相反。

它使用未标记的数据——机器必须理解数据,找到隐藏的模式并做出相应的预测。

在这里,机器在独立地从数据中推导出隐藏模式后为我们提供新发现,而无需人工指定要寻找的内容。

无监督学习问题的主要类型包括聚类和关联规则分析。

强化学习涉及一个代理,该代理通过执行操作来学习在环境中的行为。

根据这些行动的结果,它会提供反馈并调整其未来的路线——对于每一个好的动作,代理都会得到积极的反馈,而对于每一个坏的动作,代理都会得到负面的反馈或惩罚。

强化学习在没有任何标记数据的情况下进行学习。由于没有标记数据,代理只能根据自己的经验进行学习。

半监督是监督和无监督学习之间的状态。

它从每个学习中获取积极的方面,即它使用较小的标记数据集来指导分类,并从较大的未标记数据集中执行无监督特征提取。

使用半监督学习的主要优点是它能够在没有足够的标记数据来训练模型时解决问题,或者当数据根本无法标记时因为人类不知道要在其中寻找什么。

四6个真实世界的机器学习应用

如今,机器学习几乎是所有科技公司的核心,包括谷歌或Youtube搜索引擎等企业。

下面,汇总了一些您可能熟悉的机器学习在现实生活中的应用示例:

车辆在道路上会遇到各种各样的情况。

为了让自动驾驶汽车比人类表现更好,它们需要学习并适应不断变化的路况和其他车辆的行为。

自动驾驶汽车从传感器和摄像头收集周围环境的数据,然后对其进行解释并做出相应的反应。它使用监督学习识别周围物体,使用无监督学习识别其他车辆的模式,并最终在强化算法的帮助下采取相应的行动。

图像分析用于从图像中提取不同的信息。

它在检查制造缺陷、分析智能城市的汽车交通或像谷歌镜头这样的视觉搜索引擎等领域得到应用。

主要思想是使用深度学习技术从图像中提取特征,然后将这些特征应用于对象检测。

如今,公司使用AI聊天机器人来提供客户支持和销售的情况非常普遍。AI聊天机器人通过提供24/7支持帮助企业处理大量客户查询,从而降低支持成本并带来额外收入和满意的客户。

AI机器人技术使用自然语言处理(NLP)来处理文本、提取查询关键字并做出相应响应。

随着电子商务领域的扩张,我们可以观察到在线交易数量的增加和可用支付方式的多样化。不幸的是,有些人利用了这种情况。当今世界的欺诈者非常熟练,可以非常迅速地采用新技术。

在大多数情况下,任何机器学习算法性能不佳的原因都是由于欠拟合和过拟合。

让我们在训练机器学习模型的背景下分解这些术语。

欠拟合和过拟合的原因是什么?

更一般的情况包括用于训练的数据不干净并且包含大量噪声或垃圾值,或者数据的大小太小的情况。但是,还有一些更具体的原因。

让我们来看看那些。

欠拟合的发生可能是因为:

在以下情况下可能会发生过度拟合:

任何机器学习模型的准确性都与数据集的维度成正比。但它只适用于特定的阈值。

数据集的维度是指数据集中存在的属性/特征的数量。以指数方式增加维数会导致添加非必需属性,从而混淆模型,从而降低机器学习模型的准确性。

机器学习算法对低质量的训练数据很敏感。

由于数据不正确或缺失值导致数据中出现噪声,数据质量可能会受到影响。即使训练数据中相对较小的错误也会导致系统输出出现大规模错误。

当算法表现不佳时,通常是由于数据质量问题,例如数量/倾斜/噪声数据不足或描述数据的特征不足。

因此,在训练机器学习模型之前,往往需要进行数据清洗以获得高质量的数据。

THE END
1.一分钟告诉你,什么是机器学习导语:机器如何能像人类一样学习? 点击喇叭图标可取消静音 科普中国 是中国科协为深入推进科普信息化建设而塑造的全新品牌,旨在以科普内容建设为重点,充分依托现有的传播渠道和平台,使科普信息化建设与传统科普深度融合,以公众关注度作为项目精准评估的标准,提升国家科普公共服务水平 扫一扫 即刻关注 动动手指,分享知识https://www.shkp.org.cn/articles/2024/12/if440189.html
2.机器学习实战:从理论到应用机器学习已经成为推动现代科技进步的重要引擎,广泛应用于图像识别、语音处理、推荐系统等领域。本篇文章以实战为主线,系统讲解机器学习的核心理论、常用算法、数据预处理、模型优化及典型应用案例,并附带可运行代码示例,帮助读者将理论转化为实际能力。 一、机器学习概述 https://blog.csdn.net/qq_20245171/article/details/144352589
3.什么是机器学习?MicrosoftAzure机器学习在不同行业中的运用 各行各业的企业都在以多种方式使用机器学习。下面是机器学习在主要行业的一些运用示例: 银行和金融 风险管理和欺诈预防是机器学习为金融业提供巨大价值的关键领域。 医疗保健 机器学习可帮助改善病人护理,例如诊断工具、患者监测和预测疾病暴发。 https://azure.microsoft.com/zh-cn/resources/cloud-computing-dictionary/what-is-machine-learning-platform/
4.机器学习机器学习(ML)是计算机系统为了有效地执行特定任务,不使用明确的指令,而依赖模式和推理使用的算法和统计模型的科学研究。它被视为人工智能的一个子集。机器学习算法构建一个基于样本数据的数学模型,称为“训练数据”,以便在没有明确编程来执行任务的情况下进行预测或决策。[1][2]机器学习算法用于各种应用,例如电子邮件https://wuli.wiki/assets/sogou/1157.%E6%9C%BA%E5%99%A8%E5%AD%A6%E4%B9%A0%20-%20%E6%90%9C%E7%8B%97%E7%A7%91%E5%AD%A6%E7%99%BE%E7%A7%91.html
5.一文看懂机器学习「3种学习方法+7个实操步骤+15种常见算法」机器学习研究和构建的是一种特殊算法(而非某一个特定的算法),能够让计算机自己在数据中学习从而进行预测。 所以,机器学习不是某种具体的算法,而是很多算法的统称。 机器学习包含了很多种不同的算法,深度学习就是其中之一,其他方法包括决策树,聚类,贝叶斯等。 https://easyai.tech/ai-definition/machine-learning/
6.机器学习机器之心机器学习是人工智能的一个分支,是一门多领域交叉学科,涉及概率论、统计学、逼近论、凸分析、计算复杂性理论等多门学科。机器学习理论主要是设计和分析一些让计算机可以自动“学习”的算法。因为学习算法中涉及了大量的统计学理论,机器学习与推断统计学联系尤为密切,也被称为统计学习理论。算法设计方面,机器学习理论关注可https://www.jiqizhixin.com/graph/technologies/1a0e9c5e-6502-4cd7-8683-6b5ca6c48be2
7.机器学习《机器学习》是计算机科学与人工智能的重要分支领域。本课程面向硕士研究生,系统性地教授机器学习(ML)的发展背景、主要理论、技术及其最新发展趋势,并开展课堂研讨充分调动学生学习主动性,使学生深入了解该领域的研究对未来社会发展的重要影响, 掌握机器学习的最新理论、方法的基本原理和初步应用,激发人工智能领域创新创业的https://i.study.uestc.edu.cn/06ML/menu/home
8.什么是机器学习机器学习简介机器学习的优势以及应用嘲机器学习的核心思想是让计算机通过数据来学习,从而自动发现数据中的规律和模式,并用这些规律和模式来做出预测或决策。 机器学习模型有哪些? 监督式学习 一种使用带标签的训练数据(结构化数据)将特定输入映射到输出的机器学习模型。简单来说,要训练算法识别猫的图片,则向其提供标记为猫的图片。 https://cloud.tencent.com/developer/techpedia/1501
9.机器学习(豆瓣)清华社人工智能系列(共41册), 这套丛书还有 《集成学习实战》《深度学习模式与实践》《机器学习项目成功交付》《人工智能算法图解》《Python机器学习和图像处理实战 面部识别、目标检测和模式识别》 等。 喜欢读"机器学习"的人也喜欢的电子书· ··· 支持Webhttps://book.douban.com/subject/26708119/
10.斯坦福大学公开课机器学习课程[5] 【斯坦福大学公开课】机器学习课程( 1918播放 25:28 [6] 【斯坦福大学公开课】机器学习课程( 1956播放 25:27 [7] 【斯坦福大学公开课】机器学习课程( 2074播放 24:26 [8] 【斯坦福大学公开课】机器学习课程( 974播放 24:30 https://open.163.com/newview/movie/free?pid=RHKF3R9TR&mid=CHKF3RD4C