试图学得一个通过属性的线性组合来进行预测的函数
函数形式：
向量形式：
1.2非线性模型（nonlinearmodel）
在线性模型的基础上通过引入层级结构或高位映射而得
1.4可解释性（comprehensibility/understandability）
ω直观表达了各属性在预测中的重要性
2.线性回归（linearregression）
2.1定义与数学形式
试图学得一个线性模型以尽可能准确地预测实值输出标记
公式：
2.2离散属性与序关系
2.3性能度量-均方误差
2.3.1欧氏距离（Euclideandistance）
2.3.2最小二乘法（leastsquaremethod）
2.3.3最小二乘“参数估计”（parameterestimation）
ω和b最优解的闭式（closed-form）解
2.4多元线性回归（multivariatelinearregression）
2.4.1秩矩阵（full-rankmatrix）或正则矩阵（positivedefinitematrix）
现实任务重的xTx往往不是满秩矩阵
2.4.2归纳偏好决定多个解的选择
常见做法：引入正则化（regularization）项
2.5对数线性回归（log-linearregression）令模型预测值逼近u的衍生物，例如ln(y)
2.5.1在形式上仍是线性回归，但实质上已是在求取输入空间到输出空间的非线性函数映射
2.5.2线性回归模型的预测值与真实标记联系起来的
2.6广义线性模型（generalizedlinearmodel）
形式：
3.对数几率回归（logisticregression，亦称logitregression）（不建议用逻辑回归说法）
3.1分类任务怎么办？
3.1.1二分类，使用单位阶跃函数（unit-stepfunction）
3.1.2替代函数（surrogatefunction）
在一定程度上近似单位阶跃函数单调可微
对数几率函数（logisticfunction），一种Sigmoid函数
3.1.3两个函数的联系
3.2几率（odds）
3.3对数几率（logodds，亦称logit）
3.4优点
3.5极大似然法（maximumlikelihoodmethod）
3.5.1凸优化理论
3.5.2经典的数值优化算法，例如
4.线性判别分析（LinearDiscriminantAnalysis，简称LDA）
4.1LDA的思想
给定训练样例集，设法将样例投影到一条直线上，使得同类样例的投影点尽可能接近，异类样例的投影点尽可能远离
4.2二分类问题上称“Fisher判别分析”
LDA可达到最优分类，当
4.3LDA可以推广到多分类任务
矩阵的迹（trace）
5.多分类学习
5.1基本思路
拆解法：讲多分类任务拆为若干个二分类任务求解
5.2最经典的拆分策略
1）最常用技术：纠错输出码（ErrorCorrectingOutput，简称ECOC）编码矩阵（codingmatrix）