一文读懂什么是机器学习

世界充满了数据——由人和计算机生成的图像、视频、电子表格、音频和文本充斥着互联网,将我们淹没在信息的海洋中。

传统上,人类分析数据以做出更明智的决策,并设法调整系统以控制数据模式的变化。然而,随着传入信息量的增加,我们理解它的能力下降,给我们带来了以下挑战:

我们如何使用所有这些数据以自动而非手动的方式推导意义?

这正是机器学习发挥作用的地方。本文将介绍:

什么是机器学习

机器学习算法的关键要素

机器学习是如何工作的

6个真实世界的机器学习应用

机器学习的挑战和局限性

这些预测是由机器从一组称为“训练数据”的数据中学习模式做出的,它们可以推动进一步的技术发展,从而改善人们的生活。

机器学习是一个概念,它允许计算机自动从示例和经验中学习,并在没有明确编程的情况下模仿人类的决策。

机器学习是人工智能的一个分支,使用算法和统计技术从数据中学习并从中得出模式和隐藏的见解。

现在,让我们更深入地探索机器学习的来龙去脉。

机器学习中有数以万计的算法,可以根据学习风格或所解决问题的性质进行分组。但每个机器学习算法都包含以下关键组件:

以上是机器学习算法的四个组成部分的详细分类。

描述性:系统收集历史数据,对其进行组织,然后以易于理解的方式呈现。

主要重点是掌握企业中已经发生的事情,而不是从其发现中得出推论或预测。描述性分析使用简单的数学和统计工具,例如算术、平均值和百分比,而不是预测性和规范性分析所需的复杂计算。

预测性:描述性分析侧重于分析历史数据并从中得出推论,而预测性分析侧重于预测和理解未来可能发生的事情。

通过查看历史数据来分析过去的数据模式和趋势可以预测未来可能发生的事情。

规范性:描述性分析告诉我们过去发生了什么,而预测性分析告诉我们通过从过去学习未来可能发生的事情。但是,一旦我们对可能发生的事情有了洞察力,应该做什么呢?

这就是规范性分析。它帮助系统使用过去的知识对一个人可以采取的行动提出多项建议。规范性分析可以模拟场景并提供实现预期结果的途径。

ML算法的学习可以分为三个主要部分。

机器学习模型旨在从数据中学习模式并应用这些知识进行预测。问题是:模型如何进行预测?

这个过程非常基础——从输入数据(标记或未标记)中找到模式并应用它来得出结果。

机器学习模型旨在将自己做出的预测与基本事实进行比较。目标是了解它是否在朝着正确的方向学习。这决定了模型的准确性,并暗示了我们如何改进模型的训练。

该模型的最终目标是改进预测,这意味着减少已知结果与相应模型估计之间的差异。

该模型需要通过不断更新权重来更好地适应训练数据样本。该算法循环工作,评估和优化结果,更新权重,直到获得关于模型准确性的最大值。

机器学习主要包括四种类型。

在监督学习中,顾名思义,机器在指导下学习。

这是通过向计算机提供一组标记数据来完成的,以使机器了解输入的内容以及输出应该是什么。在这里,人类充当向导,为模型提供带标签的训练数据(输入-输出对),机器从中学习模式。

一旦从以前的数据集中学习了输入和输出之间的关系,机器就可以轻松地预测新数据的输出值。

我们可以在哪里使用监督学习?

答案是:在我们知道在输入数据中查看什么以及我们想要什么作为输出的情况下。

监督学习问题的主要类型包括回归和分类问题。

无监督学习的工作方式与监督学习的工作方式恰恰相反。

它使用未标记的数据——机器必须理解数据,找到隐藏的模式并做出相应的预测。

在这里,机器在独立地从数据中推导出隐藏模式后为我们提供新发现,而无需人工指定要寻找的内容。

无监督学习问题的主要类型包括聚类和关联规则分析。

强化学习涉及一个代理,该代理通过执行操作来学习在环境中的行为。

根据这些行动的结果,它会提供反馈并调整其未来的路线——对于每一个好的动作,代理都会得到积极的反馈,而对于每一个坏的动作,代理都会得到负面的反馈或惩罚。

强化学习在没有任何标记数据的情况下进行学习。由于没有标记数据,代理只能根据自己的经验进行学习。

半监督是监督和无监督学习之间的状态。

它从每个学习中获取积极的方面,即它使用较小的标记数据集来指导分类,并从较大的未标记数据集中执行无监督特征提取。

使用半监督学习的主要优点是它能够在没有足够的标记数据来训练模型时解决问题,或者当数据根本无法标记时因为人类不知道要在其中寻找什么。

四6个真实世界的机器学习应用

如今,机器学习几乎是所有科技公司的核心,包括谷歌或Youtube搜索引擎等企业。

下面,汇总了一些您可能熟悉的机器学习在现实生活中的应用示例:

车辆在道路上会遇到各种各样的情况。

为了让自动驾驶汽车比人类表现更好,它们需要学习并适应不断变化的路况和其他车辆的行为。

自动驾驶汽车从传感器和摄像头收集周围环境的数据,然后对其进行解释并做出相应的反应。它使用监督学习识别周围物体,使用无监督学习识别其他车辆的模式,并最终在强化算法的帮助下采取相应的行动。

图像分析用于从图像中提取不同的信息。

它在检查制造缺陷、分析智能城市的汽车交通或像谷歌镜头这样的视觉搜索引擎等领域得到应用。

主要思想是使用深度学习技术从图像中提取特征,然后将这些特征应用于对象检测。

如今,公司使用AI聊天机器人来提供客户支持和销售的情况非常普遍。AI聊天机器人通过提供24/7支持帮助企业处理大量客户查询,从而降低支持成本并带来额外收入和满意的客户。

AI机器人技术使用自然语言处理(NLP)来处理文本、提取查询关键字并做出相应响应。

随着电子商务领域的扩张,我们可以观察到在线交易数量的增加和可用支付方式的多样化。不幸的是,有些人利用了这种情况。当今世界的欺诈者非常熟练,可以非常迅速地采用新技术。

在大多数情况下,任何机器学习算法性能不佳的原因都是由于欠拟合和过拟合。

让我们在训练机器学习模型的背景下分解这些术语。

欠拟合和过拟合的原因是什么?

更一般的情况包括用于训练的数据不干净并且包含大量噪声或垃圾值,或者数据的大小太小的情况。但是,还有一些更具体的原因。

让我们来看看那些。

欠拟合的发生可能是因为:

在以下情况下可能会发生过度拟合:

任何机器学习模型的准确性都与数据集的维度成正比。但它只适用于特定的阈值。

数据集的维度是指数据集中存在的属性/特征的数量。以指数方式增加维数会导致添加非必需属性,从而混淆模型,从而降低机器学习模型的准确性。

机器学习算法对低质量的训练数据很敏感。

由于数据不正确或缺失值导致数据中出现噪声,数据质量可能会受到影响。即使训练数据中相对较小的错误也会导致系统输出出现大规模错误。

当算法表现不佳时,通常是由于数据质量问题,例如数量/倾斜/噪声数据不足或描述数据的特征不足。

因此,在训练机器学习模型之前,往往需要进行数据清洗以获得高质量的数据。

THE END
1.算法学习与应用从入门到精通(豆瓣)解析这本书吧,前半部分:数据结构摘要,后半部分:例子代码与练习。不是很通用的一本书,作为练习还是可以的 0 有用 patrickstar 2018-03-10 00:44:36 排班是真的丑!!!内容还是很不错的(*?′╰╯`?)? > 更多短评 6 条 我要写书评 算法学习与应用从入门到精通的书评 ··· ( 全部0 条https://book.douban.com/isbn/9787115418852/
2.清华大学出版社图书详情全面系统地讲述机器学习算法与理论,论证推导详细,深入浅出。并配以算法使用实验代码,知名库源代码分析,以及实际应用介绍。网络资源提取码:romz 作者:雷明 ? 定价:138元 印次:1-4 ISBN:9787302514688 出版日期:2019.01.01 印刷日期:2019.04.09 http://www.tup.tsinghua.edu.cn/booksCenter/book_07977201.html
3.强化学习算法与应用综述摘要:强化学习是机器学习领域的研究热点, 是考察智能体与环境的相互作用, 做出序列决策、优化策略并最大化累积回报的过程. 强化学习具有巨大的研究价值和应用潜力, 是实现通用人工智能的关键步骤. 本文综述了强化学习算法与应用的研究进展和发展动态, 首先介绍强化学习的基本原理, 包括马尔可夫决策过程、价值函数、探索-https://c-s-a.org.cn/html/2020/12/7701.html
4.机器学习算法与应用.pdf机器学习原理算法与应用pdf资源机器学习算法与应用.pdf 机器学习是人工智能的核心和基础,研究机器学习是实现人工智能的重要步骤。机器学习算法是机器学习的核心部分,它决定了机器学习的性能和效果。本文将从三个方面介绍机器学习算法:典型机器学习算法、量子机器学习、李群机器学习。 典型机器学习算法是机器学习的基础部分,包括监督学习、非监督学习、半https://download.csdn.net/download/m0_61181362/24448539
5.《机器学习:原理算法与应用》(雷明)摘要书评试读图书 > 计算机与互联网 > 编程语言与程序设计 > 清华大学出版社(Tsinghua University Press) > 机器学习:原理、算法与应用 自营 清华大学出版社京东自营官方旗舰店 机器学习:原理、算法与应用 雷明著 京东价 ¥ 促销 展开促销 配送至 --请选择-- 支持https://item.jd.com/12685964.html
6.强化学习:前沿算法与应用.pptx强化学习:前沿算法与应用读书笔记01思维导图精彩摘录目录分析内容摘要阅读感受作者简介目录0305020406思维导图学习算法前沿学习强化强化领域应用算法作者前沿提供包括介绍大家未来方法案例实际应用本书关键字分析思维导图内容摘要内容摘要《强化学习:前沿算法与应用》是一本全面介绍强化学习领域最新算法和应用的权威著作。本书https://www.renrendoc.com/paper/319904231.html
7.新书出版!《强化学习:前沿算法与应用》机器之心由上海人工智能实验室白辰甲博士,哈工大赵英男博士,天津大学教授郝建业博士等联合编写的强化学习专著《强化学习:前沿算法与应用》由机械工业出版社出版发行,官方地址https://item.jd.com/10077221594315.html. 1.内容提要 强化学习是机器学习的重要分支,是实现通用人工智能(AI)的重要途径。与其他机器学习方法不同,强化学习https://www.jiqizhixin.com/articles/2023-07-10-6
8.深度学习与计算机视觉:核心算法与应用全本书评资深工程师多年从事深度学习算法与模型研究的经验总结 理论结合实践,详解机器学习、深度学习与计算机视觉的相关算法和模型 俄罗斯自然科学院外籍院士李千目等4位大咖倾情力荐 循序渐地介绍机器学习、深度学习和计算机视觉的理论与典型应用。 结合多个应用实例,详解机器学习和深度学习的相关算法与30多种模型。 从工作原理、http://e.dangdang.com/products/1901328912.html
9.基于组合抽样技术的集成学习算法研究与应用学位基于组合抽样技术的集成学习算法研究与应用 刘国强 中国海洋大学 在线阅读 下载 引用 收藏 分享 打印 摘要: 不平衡数据集分类和集成学习是当今机器学习领域的主要研究内容。传统分类方法大多基于训练数据集各类样本的数目基本平衡和误分类代价相同等假设,以准确率为分类器性能评价指标,因此在解决不平衡数据集分类问题时大https://d.wanfangdata.com.cn/Thesis/Y1927583
10.通俗易懂讲AI强化学习3、强化学习的算法 1) 基于价值的方法(Value-based) 2) 基于策略的方法(Policy-Based) 4、强化学习与监督学习的关系 5、强化学习的优点与局限性 1、什么是强化学习? 举个例子: 小明现在有一个问题,他要决定明天是学习还是去打球。现在就有两种可能性:打球和学习。如果现在的情况是,选择打球,那么小明将会收到https://zhuanlan.zhihu.com/p/677346147
11.深度学习与计算机视觉算法原理框架应用与代码实现深度学习与计算机视觉算法原理框架应用与代码实现 本书纸版由机械工业出版社于2017年出版,电子版由华章分社(北京华章图文信息有限公司, 北京奥维博世图书发行有限公司)全球范围内制作与发行。 目录 序言 前言 第1篇 基础知识 第1章 引言 1.1 人工智能的新焦点——深度学习 1.2 给计算机一双眼睛——计算机视觉 1.3 https://bbs.pinggu.org/jg/kaoyankaobo_kaoyan_6747145_1.html
12.深度学习(Deeplearning)综述模型压缩与优化加速 模型压缩算法能够有效降低参数冗余,从而减少存储占用、通信带宽和计算复杂度,有助于深度学习的应用部署,具体可划分为如下几种方法: 1. 线性或非线性量化:1/2bits, int8 和 fp16等; 2. Op-level的快速算法:FFT Conv2d (7x7, 9x9), Winograd Conv2d (3x3, 5x5) 等; https://www.jianshu.com/p/c8a46f00b06d
13.深度学习与计算机视觉:算法原理框架应用与代码实现完整pdf扫描版[155应用平台:PDF 更新时间:2018-08-17 购买链接:京东异步社区 网友评分: 360通过腾讯通过金山通过 155.7MB 详情介绍 《深度学习与计算机视觉:算法原理、框架应用与代码实现》全面介绍了深度学习及计算机视觉中基础的知识,并结合常见的应用场景和大量实例,带领读者进入丰富多彩的计算机视觉领域。作为一本“原理+实践”教程,https://www.jb51.net/books/632178.html
14.计算机视觉算法与应用(ComputerVision计算机视觉算法与应用(Computer Vision_ Algorithms and Applications)PDF学习资料Clojure下载此实例 开发语言:Others 实例大小:43.61M下载次数:17浏览次数:518发布时间:2022-08-08实例类别:Clojure发布人:stq054188 文件格式:.pdf所需积分:2相关标签: Computer vision Applications application Algorithms algorithm https://www.haolizi.net/example/view_296353.html
15.深度学习与计算机视觉算法原理框架应用与代码实现.pdf+高清版+深度学习与计算机视觉 算法原理、框架应用与代码实现.pdf+高清版+精美书签编排 深度学习 机器视觉 人工智能 2018-06-19 上传 大小:155.00MB 所需: 50积分/C币 立即下载 未来都市——智慧城市与基于深度学习的机器视觉.pdf 未来都市——智慧城市与基于深度学习的机器视觉.pdf 立即https://www.iteye.com/resource/qq_37053885-10486681
16.等生成模型的深度学习算法综合研究与应用大三及以上组菁英科研项目:人工智能与数据科学专题:基于LSTM等序列模型、GAN等生成模型的深度学习算法综合研究与应用【大三及以上组】https://www.eol.cn/waiyu/news/20230103103205.html
17.一文看懂什么是强化学习?(基本概念+应用嘲+主流算法)《强化学习与推荐系统的强强联合》 《基于深度强化学习的对话管理中的策略自适应》 《强化学习在业界的实际应用》 强化学习的主流算法 免模型学习(Model-Free) vs 有模型学习(Model-Based) 在介绍详细算法之前,我们先来了解一下强化学习算法的2大分类。这2个分类的重要差异是:智能体是否能完整了解或学习到所在环境https://easyai.tech/ai-definition/reinforcement-learning/
18.数字化观察(100)华夏银行吴永飞等:数字金融领域小样本学习技术◆ 数字化观察(96)| 量子聚类算法在银行智慧运营场景中的应用 ◆ 数字化观察(95)| 隐私立法时代联邦学习在商业银行的应用 ◆ 数字化观察(94)| 金融科技管理人才项目制培养模式探索与实践 ◆ 数字化观察(93)| 科技创新推动金融数字化服务转型发展 ◆ 数字化观察(92)| 内部审计视角下的数据治理 https://bank.hexun.com/2022-05-31/206058282.html
19.数学六年级上册第三单元知识点实践与综合应用:以一类问题为载体,学生主动参与的学习活动,是帮助学生积累数学活动经验的重要途径。 数学分数加减法知识点 一、分数的意义 1、分数的意义:把单位“1”平均分成若干份,表示这样的一份或几份的数,叫做分数。 2、分数单位:把单位“1”平均分成若干份,表示这样的一份的数叫做分数单位。 https://www.oh100.com/shuxue/2052329.html