超全干货2万字全文！李航《统计学习方法》读书笔记，值得收藏向量方差李航

感知机是二类分类的线性模型，属于判别模型。感知机学习旨在求出将训练数据进行线性划分的分离超平面。是神经网络和支持向量机的基础。

三、k近邻法

k近邻法根据其k个最近邻的训练实例的类别，通过多数表决等方式进行预测。k值的选择，距离度量及分类决策规则是k近邻法的三个基本要素。当k=1时称为最近邻算法。

四、朴素贝叶斯

朴素贝叶斯是基于贝叶斯定理和特征条件独立假设的分类方法。首先学习输入/输出的联合概率分布，然后基于此模型，对给定的输入x，利用贝叶斯定理求出后验概率最大的输出y。属于生成模型。

五、决策树

决策树是一种基本的分类与回归方法。它可以认为是if-then规则的集合，也可以认为是定义在特征空间与类空间上的条件概率分布。主要优点是模型具有可读性,分类速度快。

六、logistic回归和最大熵模型七、支持向量机八、提升方法

提升(boosting)是一种常用的统计学习方法，是集成学习的一种。它通过改变训练样本的权重(概率分布)，学习多个弱分类器(基本分类器)，并将这些分类器线性组合来构成一个强分类器提高分类的性能。

九、EM算法EM算法是一种迭代算法，用于含有隐变量的概率模型参数的极大似然估计。每次迭代由两步组成：E步，求期望(expectation)，M步，求极大值(maximization)，直至收敛为止。十、隐马尔可夫模型(HMM)

隐马尔可夫模型是关于时序的概率模型，描述由一个隐藏的马尔可夫链随机生成不可观测的状态序列，再由各个状态生成一个观测而产生观测随机序列的过程。

设Q是所有可能的状态的集合，V是所有可能的观测的集合，I是长度为T的状态序列，O是对应的观测序列，A是状态转移概率矩阵，aij表示在时刻t处于状态qi的条件下在时刻t+1转移到状态qj的概率。B是观测概率矩阵，bij是在时刻t处于状态qj的条件下生成观测vk的概率。π是初始状态概率向量，πi表示时刻t=1处于状态qi的概率。隐马尔可夫模型由初始状态概率向量π，状态转移概率矩阵A以及观测概率矩阵B确定。π和A决定即隐藏的马尔可夫链，生成不可观测的状态序列。B决定如何从状态生成观测，与状态序列综合确定了观测序列。因此，隐马尔可夫模型可以用三元符号表示。

十一、统计学习方法总结

---以下内容并非出自《统计学习方法》---

十二、神经网络

神经元(感知器)接收到来自n个其他神经元传递过来的输入信号，这些输入信号通过带权重的连接进行传递，神经元将接收到的总输入值与神经元的阈值进行比较,然后通过激活函数处理以产生神经元的输出。把许多个这样的神经元按一定的层次结构连接起来就得到了神经网络。一般使用反向传播(BP)算法来进行训练。

十三、K-Means

K-Means是无监督的聚类算法。思想是对于给定的样本集，按照样本之间的距离大小将样本集划分为K个簇，让簇内的点尽量紧密地连在一起，而让簇间的距离尽量的大。

十四、Bagging

Bagging的弱学习器之间没有boosting那样的联系，它的特点在于"随机采样"，也就是有放回采样。因此泛化能力很强。一般会随机采集和训练集样本数一样个数的样本。假设有m个样本，且采集m次，当m趋向无穷大时不被采集到的数据占1/e，也就是36.8%，称为袋外数据，可以用来检测模型的泛化能力。Bagging对于弱学习器没有限制，一般采用决策树和神经网络。

十五、Apriori

Apriori是常用的挖掘出数据关联规则的算法，用于找出数据值中频繁出现的数据集合。一般使用支持度或者支持度与置信度的组合作为评估标准。