机器学习算法中分类知识总结!分类器阈值样本

本文将介绍机器学习算法中非常重要的知识—分类(classification),即找一个函数判断输入数据所属的类别,可以是二类别问题(是/不是),也可以是多类别问题(在多个类别中判断输入数据具体属于哪一个类别)。与回归问题(regression)相比,分类问题的输出不再是连续值,而是离散值,用来指定其属于哪个类别。分类问题在现实中应用非常广泛,比如垃圾邮件识别,手写数字识别,人脸识别,语音识别等。

一、指定阈值

如果某个逻辑回归模型对某封电子邮件进行预测时返回的概率为0.9995,则表示该模型预测这封邮件非常可能是垃圾邮件。相反,在同一个逻辑回归模型中预测分数为0.0003的另一封电子邮件很可能不是垃圾邮件。可如果某封电子邮件的预测分数为0.6呢?为了将逻辑回归值映射到二元类别,你必须指定分类阈值(也称为判定阈值)。如果值高于该阈值,则表示“垃圾邮件”;如果值低于该阈值,则表示“非垃圾邮件”。人们往往会认为分类阈值应始终为0.5,但阈值取决于具体问题,因此你必须对其进行调整。

我们将在后面的部分中详细介绍可用于对分类模型的预测进行评估的指标,以及更改分类阈值对这些预测的影响。

注意:

“调整”逻辑回归的阈值不同于调整学习速率等超参数。在选择阈值时,需要评估你将因犯错而承担多大的后果。例如,将非垃圾邮件误标记为垃圾邮件会非常糟糕。不过,虽然将垃圾邮件误标记为非垃圾邮件会令人不快,但应该不会让你丢掉工作。

二、阳性与阴性以及正类别与负类别

在本部分,我们将定义用于评估分类模型指标的主要组成部分先。不妨,我们从一则寓言故事开始:

伊索寓言:狼来了(精简版)有一位牧童要照看镇上的羊群,但是他开始厌烦这份工作。为了找点乐子,他大喊道:“狼来了!”其实根本一头狼也没有出现。村民们迅速跑来保护羊群,但他们发现这个牧童是在开玩笑后非常生气。(这样的情形重复出现了很多次。)...一天晚上,牧童看到真的有一头狼靠近羊群,他大声喊道:“狼来了!”村民们不想再被他捉弄,都待在家里不出来。这头饥饿的狼对羊群大开杀戒,美美饱餐了一顿。这下子,整个镇子都揭不开锅了。恐慌也随之而来。

我们做出以下定义:

“狼来了”是正类别。

“没有狼”是负类别。

我们可以使用一个2x2的混淆矩阵来总结我们的“狼预测”模型,该矩阵描述了所有可能出现的结果(共四种):

真正例是指模型将正类别样本正确地预测为正类别。同样,真负例是指模型将负类别样本正确地预测为负类别。

假正例是指模型将负类别样本错误地预测为正类别,而假负例是指模型将正类别样本错误地预测为负类别。

在后面的部分中,我们将介绍如何使用从这四种结果中衍生出的指标来评估分类模型。

三、准确率

准确率是一个用于评估分类模型的指标。通俗来说,准确率是指我们的模型预测正确的结果所占的比例。正式点说,准确率的定义如下:

对于二元分类,也可以根据正类别和负类别按如下方式计算准确率:

其中,TP=真正例,TN=真负例,FP=假正例,FN=假负例。让我们来试着计算一下以下模型的准确率,该模型将100个肿瘤分为恶性(正类别)或良性(负类别):

准确率为0.91,即91%(总共100个样本中有91个预测正确)。这表示我们的肿瘤分类器在识别恶性肿瘤方面表现得非常出色,对吧?

实际上,只要我们仔细分析一下正类别和负类别,就可以更好地了解我们模型的效果。

在100个肿瘤样本中,91个为良性(90个TN和1个FP),9个为恶性(1个TP和8个FN)。

在91个良性肿瘤中,该模型将90个正确识别为良性。这很好。不过,在9个恶性肿瘤中,该模型仅将1个正确识别为恶性。这是多么可怕的结果!9个恶性肿瘤中有8个未被诊断出来!

虽然91%的准确率可能乍一看还不错,但如果另一个肿瘤分类器模型总是预测良性,那么这个模型使用我们的样本进行预测也会实现相同的准确率(100个中有91个预测正确)。换言之,我们的模型与那些没有预测能力来区分恶性肿瘤和良性肿瘤的模型差不多。

当你使用分类不平衡的数据集(比如正类别标签和负类别标签的数量之间存在明显差异)时,单单准确率一项并不能反映全面情况。

在下一部分中,我们将介绍两个能够更好地评估分类不平衡问题的指标:精确率和召回率。

学习理解

在以下哪种情况下,高的准确率值表示机器学习模型表现出色?

一只造价昂贵的机器鸡每天要穿过一条交通繁忙的道路一千次。某个机器学习模型评估交通模式,预测这只鸡何时可以安全穿过街道,准确率为99.99%。

一种致命但可治愈的疾病影响着0.01%的人群。某个机器学习模型使用其症状作为特征,预测这种疾病的准确率为99.99%。

在roulette游戏中,一只球会落在旋转轮上,并且最终落入38个槽的其中一个内。某个机器学习模型可以使用视觉特征(球的旋转方式、球落下时旋转轮所在的位置、球在旋转轮上方的高度)预测球会落入哪个槽中,准确率为4%。

四、精确率和召回率4.1精确率

精确率指标尝试回答以下问题:在被识别为正类别的样本中,确实为正类别的比例是多少?

精确率的定义如下:

注意:如果模型的预测结果中没有假正例,则模型的精确率为1.0。

让我们来计算一下上一部分中用于分析肿瘤的机器学习模型的精确率:

该模型的精确率为0.5,也就是说,该模型在预测恶性肿瘤方面的正确率是50%。

4.2召回率

召回率尝试回答以下问题:在所有正类别样本中,被正确识别为正类别的比例是多少?

从数学上讲,召回率的定义如下:

注意:如果模型的预测结果中没有假负例,则模型的召回率为1.0。

让我们来计算一下肿瘤分类器的召回率:

该模型的召回率是0.11,也就是说,该模型能够正确识别出所有恶性肿瘤的百分比是11%。

4.3精确率和召回率:一场拔河比赛

要全面评估模型的有效性,必须同时检查精确率和召回率。遗憾的是,精确率和召回率往往是此消彼长的情况。也就是说,提高精确率通常会降低召回率值,反之亦然。请观察下图来了解这一概念,该图显示了电子邮件分类模型做出的30项预测。分类阈值右侧的被归类为“垃圾邮件”,左侧的则被归类为“非垃圾邮件”。

图1.将电子邮件归类为垃圾邮件或非垃圾邮件

我们根据图1所示的结果来计算精确率和召回率值:

精确率指的是被标记为垃圾邮件的电子邮件中正确分类的电子邮件所占的百分比,即图1中阈值线右侧的绿点所占的百分比:

召回率指的是实际垃圾邮件中正确分类的电子邮件所占的百分比,即图1中阈值线右侧的绿点所占的百分比:

图2显示了提高分类阈值产生的效果。

图2.提高分类阈值

假正例数量会减少,但假负例数量会相应地增加。结果,精确率有所提高,而召回率则有所降低:

相反,图3显示了降低分类阈值(从图1中的初始位置开始)产生的效果。

图3.降低分类阈值

假正例数量会增加,而假负例数量会减少。结果这一次,精确率有所降低,而召回率则有所提高:

我们已根据精确率和召回率指标制定了各种指标。有关示例,请参阅F1值。

让我们以一种将电子邮件分为“垃圾邮件”或“非垃圾邮件”这两种类别的分类模型为例。如果提高分类阈值,精确率会怎样?

可能会提高。一定会提高。一定会降低。可能会降低。

让我们以一种将电子邮件分为“垃圾邮件”或“非垃圾邮件”这两种类别的分类模型为例。如果提高分类阈值,召回率会怎样?

始终下降或保持不变。始终保持不变。一定会提高。

以两个模型(A和B)为例,这两个模型分别对同一数据集进行评估。以下哪一项陈述属实?

如果模型A的精确率优于模型B,则模型A更好。如果模型A的精确率和召回率均优于模型B,则模型A可能更好。如果模型A的召回率优于模型B,则模型A更好。

五、ROC和AUC5.1ROC曲线

ROC曲线(接收者操作特征曲线)是一种显示分类模型在所有分类阈值下的效果图表。该曲线绘制了以下两个参数:

真正例率假正例率

真正例率(TPR)是召回率的同义词,因此定义如下:

假正例率(FPR)的定义如下:

ROC曲线用于绘制采用不同分类阈值时的TPR与FPR。降低分类阈值会导致将更多样本归为正类别,从而增加假正例和真正例的个数。下图显示了一个典型的ROC曲线。

图4.不同分类阈值下的TP率与FP率

为了计算ROC曲线上的点,我们可以使用不同的分类阈值多次评估逻辑回归模型,但这样做效率非常低。幸运的是,有一种基于排序的高效算法可以为我们提供此类信息,这种算法称为曲线下面积。

5.2曲线下面积:ROC曲线下面积

曲线下面积表示“ROC曲线下面积”。也就是说,曲线下面积测量的是从(0,0)到(1,1)之间整个ROC曲线以下的整个二维面积(参考积分学)。

图5.曲线下面积(ROC曲线下面积)

曲线下面积对所有可能的分类阈值的效果进行综合衡量。曲线下面积的一种解读方式是看作模型将某个随机正类别样本排列在某个随机负类别样本之上的概率。以下面的样本为例,逻辑回归预测从左到右以升序排列:

图6.预测按逻辑回归分数以升序排列

曲线下面积表示随机正类别(绿色)样本位于随机负类别(红色)样本右侧的概率。

曲线下面积的取值范围为0-1。预测结果100%错误的模型的曲线下面积为0.0;而预测结果100%正确的模型的曲线下面积为1.0。

曲线下面积因以下两个原因而比较实用:

曲线下面积的尺度不变。它测量预测的排名情况,而不是测量其绝对值。曲线下面积的分类阈值不变。它测量模型预测的质量,而不考虑所选的分类阈值。

不过,这两个原因都有各自的局限性,这可能会导致曲线下面积在某些用例中不太实用:

并非总是希望尺度不变。例如,有时我们非常需要被良好校准的概率输出,而曲线下面积无法告诉我们这一结果。并非总是希望分类阈值不变。在假负例与假正例的代价存在较大差异的情况下,尽量减少一种类型的分类错误可能至关重要。例如,在进行垃圾邮件检测时,你可能希望优先考虑尽量减少假正例(即使这会导致假负例大幅增加)。对于此类优化,曲线下面积并非一个实用的指标。学习理解

以下哪条ROC曲线可产生大于0.5的AUC值?

将给定模型的所有预测结果都乘以2.0(例如,如果模型预测的结果为0.4,我们将其乘以2.0得到0.8),会使按AUC衡量的模型效果产生何种变化?

六、预测偏差

逻辑回归预测应当无偏差。即:

预测偏差指的是这两个平均值之间的差值。即:

预测偏差=预测平均值数据集中相应标签的平均值

注意:“预测偏差”与偏差(“wx+b”中的“b”)不是一回事。

如果出现非常高的非零预测偏差,则说明模型某处存在错误,因为这表明模型对正类别标签的出现频率预测有误。

例如,假设我们知道,所有电子邮件中平均有1%的邮件是垃圾邮件。如果我们对某一封给定电子邮件一无所知,则预测它是垃圾邮件的可能性为1%。同样,一个出色的垃圾邮件模型应该预测到电子邮件平均有1%的可能性是垃圾邮件。(换言之,如果我们计算单个电子邮件是垃圾邮件的预测可能性的平均值,则结果应该是1%。)然而,如果该模型预测电子邮件是垃圾邮件的平均可能性为20%,那么我们可以得出结论,该模型出现了预测偏差。

造成预测偏差的可能原因包括:

特征集不完整数据集混乱模型实现流水线中有错误训练样本有偏差正则化过强

你可能会通过对学习模型进行后期处理来纠正预测偏差,即通过添加校准层来调整模型的输出,从而减小预测偏差。例如,如果你的模型存在3%以上的偏差,则可以添加一个校准层,将平均预测偏差降低3%。但是,添加校准层并非良策,具体原因如下:

你修复的是症状,而不是原因。你建立了一个更脆弱的系统,并且必须持续更新。使用校准层来修复模型的所有错误。

如果可能的话,请避免添加校准层。使用校准层的项目往往会对其产生依赖

最终,维护校准层可能会令人苦不堪言。

注意:出色模型的偏差通常接近于零。即便如此,预测偏差低并不能证明你的模型比较出色。特别糟糕的模型的预测偏差也有可能为零。例如,只能预测所有样本平均值的模型是糟糕的模型,尽管其预测偏差为零。

七、分桶偏差和预测偏差

逻辑回归可预测0到1之间的值。不过,所有带标签样本都正好是0(例如,0表示“非垃圾邮件”)或1(例如,1表示“垃圾邮件”)。因此,在检查预测偏差时,你无法仅根据一个样本准确地确定预测偏差;你必须在“一大桶”样本中检查预测偏差。也就是说,只有将足够的样本组合在一起以便能够比较预测值(例如0.392)与观察值(例如0.394),逻辑回归的预测偏差才有意义。

你可以通过以下方式构建桶:

以线性方式分解目标预测。构建分位数。

请查看以下某个特定模型的校准曲线。每个点表示包含1000个值的分桶。两个轴具有以下含义:

x轴表示模型针对该桶预测的平均值。y轴表示该桶的数据集中的实际平均值。

两个轴均采用对数尺度。

图7.预测偏差曲线

为什么只有模型的某些部分所做的预测如此糟糕?以下是几种可能性:

训练集不能充分表示数据空间的某些子集。数据集的某些子集比其他子集更混乱。该模型过于正则化。(不妨减小lamdba的值。)

THE END
1.机器学习知识点全面总结机器学习知识点总结特征工程:是指在机器学习中对原始数据进行转换、组合和选择等处理,以提取更有用的特征或属性,以帮助机器学习算法更好地理解和处理数据。简而言之,特征工程就是对原始数据进行预处理,以提取有用信息来辅助机器学习。 模型选择:根据问题的特点和数据的特征选择适合的机器学习算法和模型。 https://blog.csdn.net/qq_63159704/article/details/136137934
2.一文理解机器学习三要素腾讯云开发者社区机器学习,作为人工智能的重要分支,使计算机能够通过数据自动学习并不断优化模型,以提高预测和决策的准确性和效率。机器学习方法可以概述如下: 出发点是给定的、有限的训练数据集,假设这些数据遵循独立同分布。同时,假定待学习的模型属于一个特定的函数集合,即假设空间。 https://cloud.tencent.com/developer/article/2421011
3.机器学习算法可分为:()()和()。机器学习算法可分为:()、()和()。正确答案:监督学习|无监督学习;非监督学习|强化学习 点击查看答案进入小程序搜题你可能喜欢监督学习算法通常解决()和()等类型的问题。 点击查看答案进入小程序搜题 无监督学习算法通常解决()和()等类型的问题。 点击查看答案进入小程序搜题https://m.ppkao.com/wangke/daan/00ea4c6c462240dfbddb036289adc3f4
4.Python机器学习(原书第3版)最新章节塞巴斯蒂安·拉施卡著虽然感知器规则提供了良好且易用的入门级机器学习分类算法,但其最大缺点是,如果类不是完全线性可分的,那么它将永远不收敛。前一节的分类任务就是该场景的一个示例。直观地说,原因是权重在不断更新,因为每次迭代至少会有一个错误分类样本存在。当然,我们也可以改变学习速率,增加迭代次数,但是要小心感知器永远都不会https://m.zhangyue.com/readbook/12540913/42.html
5.机器学习中有监督学习和无监督学习的区别表现在什么方面?机器学习主要分为:有监督学习,无监督学习,以及半监督学习等。小编今天给大家分享的主要是有监督学习和无监督学习的比较,希望对于大家机器学习有所帮助。 一、首先来了解一下有监督学习和无监督学习的概念 1、有监督学习(supervised learning)是指从给定的训练数据集中学习出一个函数(模型参数),当新的数据到来时,可以https://www.cda.cn/bigdata/28000.html
6.计算机工程与设计杂志中国航天科工集团第二研究院706所主办为综合利用基于情感词典和基于机器学习的两类情感分类方法的优点,提出一种基于情感词汇与机器学习的方面级情感分类方法。通过选取少量情感倾向与评价对象无关的情感词汇对评价搭配进行情感分类;通过构建机器学习分类器,以评价短语对各类别的互信息占比作为分类器的分类概率权重,进行加权计算,选择加权后分类概率最大的类别作https://www.youfabiao.com/jsjgcysj/202001/
7.IJTCS8月17日,“多智能体机器学习”分论坛由北京大学李文新教授、中国科学院自动化研究所张海峰副研究员主持。8月18日,“计算经济学”分论坛由上海交通大学陶表帅助理教授主持。小编为大家带来两个分论坛报告的精彩回顾。 多智能体机器学习分论坛精彩回顾 A Continuum of Solutions to Cooperative Multi-Agent Reinforcementhttps://cfcs.pku.edu.cn/news/240892.htm
8.基于有限积分法和机器学习的场强分布预测方法本文提出了一种基于有限积分法和机器学习的场强预测混合方案,我们在CST中建立地形或建筑物的最基本单元—三角面,仿真计算平面波(射线就是平面波)入射时三角面周围的电磁场分布,找出影响场强分布的特征,仿真在不同输入条件下的输出结果。对三角面周围的空间分为近场区和远场区。近场区通过机器学习模型来预测场强,而https://cdmd.cnki.com.cn/Article/CDMD-10013-1018116500.htm
9.机器学习中的分类和回归王哲MGGAI机器学习中的分类和回归是两种主要的预测建模任务,它们分别处理不同类型的输出变量。 分类(Classification): 定义:分类是一种监督学习任务,其目标是将输入数据映射到预定义的类别中。在分类问题中,模型的输出是一个离散的类别标签。 例子:例如,垃圾邮件过滤是一个二分类问题,其中模型需要将每封电子邮件分为"垃圾邮件https://www.cnblogs.com/wzbzk/p/17834194.html
10.北京航空航天大学2025研究生考试大纲:人工智能学院!北京航空航天大学人工智能学院招收2025年硕士初试自命题科目考试大纲已公布,842人工智能基础综合试卷总分150分,共包括三部分内容。其中机器学习部分为必考内容,占90分;算法设计与分析部分和自动控制原理部分为选考内容,选考内容二选一,均占60分。若同时选考算法设计与https://www.gaodun.com/kaoyan/1653530.html
11.机器学习中常用的几种回归算法及其特点回归是统计学中最有力的工具之一,机器学习监督学习算法分为分类算法和回归算法两种。回归算法用于连续型分布预测,可以预测连续型数据而不仅仅是离散的类别标签。 回归是统计学中最有力的工具之一,机器学习监督学习算法分为分类算法和回归算法两种。回归算法用于连续型分布预测,可以预测连续型数据而不仅仅是离散的类别标签https://www.51cto.com/article/775005.html
12.第28分会:AI辅助的化学反应和复杂体系模拟日程表第28分会:AI辅助的化学反应和复杂体系模拟 主席:胡培君、李磊 编号论文标题报告人时间操作 2024年06月15日 第1时段 口头报告(Oral) 国际会堂:3层301 胡培君 28-KN-001基于量子计算精度的蛋白质动力学模拟及机器学习力场张增辉09:50-10:20关注 28-I-001基于深度势能模型和图神经网络的固态电解质缺陷效应和矿物浮https://www.chemsoc.org.cn/meeting/34th/programs.php?topicid=1343
13.腾讯AI开放平台连接云边端设备、算法和数据,提供全栈式 AI 应用开发、部署、管理等功能 腾讯云TI平台 一站式机器学习生态服务平台,涵盖数据预处理、模型训练、评估、预测全流程 图像识别语音技术自然语言处理AI平台服务智能机器人 限时促销 活动专区 人脸核身特惠活动2折 https://ai.qq.com/
14.CiteScore2022正式发布,AIOpen首获即达22.5分,三大高被引论文值得一AI Open 成立于 2020 年,主要分享关于人工智能理论及其应用的知识处理和前瞻性观点,期刊主编为清华大学计算机系的唐杰教授。 AI Open 三大高被引论文解读 1.图神经网络:方法与应用回顾(Graph neural networks: A review of methods and applications) 近年来,由于图(graph)的强大表达能力,利用机器学习分析图的研究越https://www.thepaper.cn/newsDetail_forward_23420835
15.MindSpore官网9 MindQuantum:快速上手量子模拟与量子机器学习 MindQuantum 最新0.5版本中提供独立的量子模拟模块Simulator,用户可快速对自定义量子线路进行模拟演化并对量子态进行采样,极大方便开发者在MindQuantum环境中设计和验证自己的量子算法。此外我们新增了量子线路和量子态采样的展示模块,开发者也能直观的对量子算法进行修改。 https://www.mindspore.cn/news/newschildren?id=967
16.家长会英语老师发言稿(通用21篇)期中已经结束了,各位家长不要过分纠结在分数的高低。话说回来,从这次练习中不难发现部分同学掌握的不是很到位,以致于在考试中出现了重大失误。这个和平时的学习习惯是分不开的。在座的各位,都明白英语的重要性和必要性。时代真的不同了。以前说有钱能走遍天下,现在会说英语才能游遍世界!https://www.unjs.com/fanwenwang/fayangao/20221210153520_6089196.html