19种回归分析你知道几种呢?

只要学习过数据分析,或者对数据分析有一些简单的了解,比如使用过SPSSAU、SPSS这些统计分析软件,都知道有回归分析。按照数学上的定义来看,回归分析指研究一组随机变量(Y1,Y2,…,Yi)和另一组(X1,X2,…,Xk)变量之间关系的统计分析方法,又称多重回归分析。通常Y1,Y2,…,Yi是因变量,X1、X2,…,Xk是自变量。

其实说简单点就是研究X对于Y的影响关系,这就是回归分析。但是,这并不够呢,看下图,总共19种回归(其实还有不单独列出),这如何区分,到底应该使用哪一种回归呢,这19种回归分析有啥区别呢。为什么会这如此多的回归分析呢?

一、首先回答下:为什么会有如此多的回归分析方法?

在研究X对于Y的影响时,会区分出很多种情况,比如Y有的是定类数据,Y有的是定量数据(如果不懂的童鞋可查看SPSSAU官网帮助手册),也有可能Y有多个或者1个,同时每种回归分析还有很多前提条件,如果不满足则有对应的其它回归方法进行解决。这也就解决了为什么会有如此多的回归分析方法。接下来会逐一说明这19种回归分析方法。

二、回归分析按数据类型分类

首先将回归分析中的Y(因变量)进行数据类型区分,如果是定量且1个(比如身高),通常我们会使用线性回归,如果Y为定类且1个(比如是否愿意购买苹果手机),此时叫logistic回归,如果Y为定量且多个,此时应该使用PLS回归(即偏最小二乘回归)

线性回归再细分:如果回归模型中X仅为1个,此时就称为简单线性回归或者一元线性回归;如果X有多个,此时称为多元线性回归。

Logistic回归再细分:如果Y为两类比如0和1(比如1为愿意和0为不愿意,1为购买和0为不购买),此时就叫二元logistic回归;如果Y为多类比如1,2,3(比如DELL,Thinkpad,Mac),此时就会多分类logistic回归;如果Y为多类且有序比如1,2,3(比如1为不愿意,2为中立,3为愿意),此时可以使用有序logistic回归。如果Y为两类时,有时候也会使用二元Probit回归模型。

除此之外,如果Y为定量且为多个,很多时候会将Y合并概括成1个(比如使用平均值),然后使用线性回归,反之可考虑使用PLS回归(但此种情况使用其实较少,PLS回归模型非常复杂)。

三、深入说明线性因归模型

我们常见的回归分析中,线性回归和logistic回归最为常见。也是当前研究最多,并且使用最为普遍,以及最为人接受容易理解的研究方法。

尤其是线性回归,其使用最为成熟,研究最多,而且绝大多数生活现象均可使用线性回归进行研究,因而结合回归分析还会多出一些回归方法;同时回归分析模型会有很多假定,或者满足条件,如果不满足这些假定或者条件就会导致模型使用出错,此时就有对应的其它回归模型出来解决这些问题,因而跟着线性回归后面又出来很多的回归。如下图:

线性回归是研究X对于Y的影响,如果说有多个X,希望让模型自动找出有意义的X,此时就可以使用逐步回归。另外在很一些管理类研究中会涉及到中介作用或者调节作用,此时就可能使用到分层回归或者分组回归等。

在进行线性回归分析时,如果说模型出现共线性问题VIF值很大,此时就可以使用岭回归进行解决,岭回归的使用较为广泛,其实还有Lasso回归也可以解决共线性问题,但是使用非常少而已。

如果数据中有异常值,常见的解决办法是先把异常值去除掉,但有的时候确实无法去除掉异常值,此时可考虑使用稳健回归分析模型。

线性回归的前提是X和Y之间有着线性关系,但有的时候X和Y并不是线性关系,此时就有着曲线回归和非线性回归这两种回归出来供使用,曲线回归其实质上是将曲线模型表达式转换成线性关系表达式进行研究,而非线性回归较为复杂当然使用也非常少,其和线性回归完全不是一回事情。以及Poisson回归(泊松回归)是指Y符合泊松分布特征时使用的回归研究模型。

四、其它

除此之外,还有比如加权WLS回归等,使用较少,不单独说明。

综上所述,一次性将19种回归汇总,基本上都可以在SPSSAU上面找到,关于各类回归方法的使用,以及具体原理,可查看SPSSAU官网,以及可使用上面的案例数据,逐一进行操作分析。

THE END
1.www.stats.gov.cn/zsk/snapshoot?reference=d466cfa12a8d807d0知识库 知识分类:|知识来源: |发布日期:https://www.stats.gov.cn/zsk/snapshoot?reference=d466cfa12a8d807d0c267a76a75d1e42_BF0DA741DD9357F095D4CF7C9AB890EE
2.这才是科研人该学的!一口气学完线性回归多项式回归决策树等【多项式回归】多项式升维代码实战_训练模型和评估 11:23 【多项式回归】实战保险花销预测_数据介绍和加载数据 14:45 【多项式回归】实战保险花销预测_数据预处理 18:33 【多项式回归】实战保险花销预测_模型训练和评估_选择非线性算法改进 25:31 【多项式回归】实战保险花销预测_特征选择思路 https://www.bilibili.com/list/ml2060661446
3.逻辑回归模型逻辑回归的损失函数,我们期待所有样本评估正确的概率最大化,将损失函数设计成带负号即可 又由于损失函数中有大量的乘号,为计算方便,再套一个对数,最后损失函数如下: 5.逻辑回归-模型求解 现在需要求解逻辑回归模型里的参数W,使得损失函数最小, 也就是令预测概率准确性最大化求解方法可以使用梯度下降算法 求解逻辑回https://zhuanlan.zhihu.com/p/676546522
4.神经网络回归模型有哪些神经网络是回归算法吗Logistic Regression(逻辑回归) Decision Trees(决策树) Random Forests(随机森林) Neural Networks(人工神经网络 NNs)——深度学习算法 人工神经网络(Artificial Neural Networks,简写为ANNs)也简称为神经网络(NNs)或称作连接模型(Connection Model),它是一种模仿动物神经网络行为特征,进行分布式并行信息处理的算法数学模型https://blog.51cto.com/u_16099346/7922482
5.数据挖掘的常见算法有哪些?关联规则算法关联规则算法是一种用于发现数据集中的频繁项集(即出现频率高的数据项集合)的算法。该算法可以帮助识别不同商品之间的关系,以及购物篮分析等应用领域。Apriori和FP-Growth是两种常见的关联规则算法。 4.回归算法 回归算法是一种用于建立输入和输出之间关系的算法。它们通常用于预测连续值,如房价、股票价格等https://www.cda.cn/bigdata/202782.html
6.最全整理万字长文综述目标检测领域,您要的,都在这里!在这方面,主要有两种主流的算法: 一类是结合regionproposal、CNN网络的,基于分类的R-CNN 系列目标检测框架(two stage); 另一类则是将目标检测转换为回归问题的算法(single stage)。 03 PART 传统的目标检测算法 传统的目标检测算法大致可以分为目标实例检测与传统目标类别检测两类: https://cloud.tencent.com/developer/article/1640419
7.机器学习之常用算法总结在此学习方式下,输入数据部分被标识,部分没有被标识,这种学习模型可以用来进行预测,但是模型首先需要学习数据的内在结构以便合理的组织数据来进行预测。应用场景包括分类和回归,算法包括一些对常用监督式学习算法的延伸,这些算法首先试图对未标识数据进行建模,在此基础上再对标识的数据进行预测。如图论推理算法(Graph Inferehttps://m.blog.csdn.net/dahuacai/article/details/50493686
8.轻松看懂机器学习十大常用算法西南石油大学通过本篇文章大家可以对ML的常用算法形成常识性的认识。没有代码,没有复杂的理论推导,仅是图解,介绍这些算法是什么以及如何应用(例子主要是分类问题)。以后有机会再对单个算法做深入地解析。 一、决策树 二、随机森林算法 三、逻辑回归 四、SVM 五、朴素贝叶斯 https://www.swpu.edu.cn/eelab/info/1090/2296.htm
9.回归分类与聚类:三大方向剖解机器学习算法的优缺点机器之心分类方法是一种对离散型随机变量建模或预测的监督学习算法。使用案例包括邮件过滤、金融欺诈和预测雇员异动等输出为类别的任务。 许多回归算法都有与其相对应的分类算法,分类算法通常适用于预测一个类别(或类别的概率)而不是连续的数值。 2.1 Logistic 回归(正则化) https://www.jiqizhixin.com/articles/2017-05-20-3
10.BAT机器学习面试1000题系列(二)176.常见的分类算法有哪些? SVM、神经网络、随机森林、逻辑回归、KNN、贝叶斯 177.常见的监督学习算法有哪些? 感知机、SVM、人工神经网络、决策树、逻辑回归 178.在其他条件不变的前提下,以下哪种做法容易引起机器学习中的过拟合问题(D) A. 增加训练集量 https://www.jianshu.com/p/4a7f7127eef1