机器学习常用的十类算法

人工神经网络(ANN)以大脑处理机制作为基础,开发用于建立复杂模式和预测问题的算法。该类型算法在语音、语义、视觉、各类游戏等任务中表现极好,但需要大量数据进行训练,且训练要求很高的硬件配置。

ANN在图像和字符识别中起着重要的作用,手写字符识别在欺诈检测甚至国家安全评估中有很多应用。ANN的研究为深层神经网络铺平了道路,是「深度学习」的基础,现已在计算机视觉、语音识别、自然语言处理等方向开创了一系列令人激动的创新。

2.决策树

在机器学习中,决策树是一个预测模型,他代表的是对象属性与对象值之间的一种映射关系。其采用一种树形结构,其中每个内部节点表示一个属性上的测试,每个分支代表一个测试输出,每个叶节点代表一种类别。

决策树算法属于非参数型,较为容易解释,但其趋向过拟合;可能陷入局部最小值中;无法在线学习。决策树的生成主要分为两步:1.节点的分裂:当一个节点所代表的属性无法给出判断时,则选择将该节点分成2个子节点2.阈值的确定:选择适当的阈值使得分类错误率最小。

3.集成算法

简单算法一般复杂度低、速度快、易展示结果,其中的模型可以单独进行训练,并且它们的预测能以某种方式结合起来去做出一个总体预测。每种算法好像一种专家,集成就是把简单的算法组织起来,即多个专家共同决定结果。

集成算法比使用单个模型预测出来的结果要精确的多,但需要进行大量的维护工作。

AdaBoost的实现是一个渐进的过程,从一个最基础的分类器开始,每次寻找一个最能解决当前错误样本的分类器。好处是自带了特征选择,只使用在训练集中发现有效的特征,这样就降低了分类时需要计算的特征数量,也在一定程度上解决了高维数据难以理解的问题。

4.回归算法

5.贝叶斯算法

朴素贝叶斯分类是一种十分简单的分类算法:对于给出的待分类项,求解在此项出现的条件下各个类别出现的概率,哪个最大,就认为此待分类项属于哪个类别。

朴素贝叶斯分类分为三个阶段,1.根据具体情况确定特征属性,并对每个特征属性进行适当划分,形成训练样本集合2.计算每个类别在训练样本中的出现频率及每个特征属性划分对每个类别的条件概率估计3.使用分类器对待分类项进行分类。

6.K近邻

K紧邻算法的核心是未标记样本的类别,计算待标记样本和数据集中每个样本的距离,取距离最近的k个样本。待标记的样本所属类别就由这k个距离最近的样本投票产生,给定其测试样本,基于某种距离度量找出训练集中与其最靠近的k个训练样本,然后基于这k个“邻居”的信息来进行预测。

K紧邻算法准确性高,对异常值和噪声有较高的容忍度,但计算量较大,对内存的需求也较大。该算法主要应用于文本分类、模式识别、图像及空间分类。

7.聚类算法

聚类算法是机器学习中涉及对数据进行分组的一种算法。在给定的数据集中,我们可以通过聚类算法将其分成一些不同的组。应用中可利用聚类分析,通过将数据分组可以比较清晰的获取到数据信息。该算法让数据变得有意义,但存在结果难以解读,针对不寻常的数据组,结果可能无用。

在商业领域中,聚类可以帮助市场分析人员从消费者数据库中区分出不同的消费群体来,并且概括出每一类消费者的消费模式或者说习惯。

8.随机森林算法

随机森林是一种有监督学习算法,基于决策树为学习器的集成学习算法。随机森林非常简单,易于实现,计算开销也很小,但是它在分类和回归上表现出非常惊人的性能,因此,随机森林被誉为“代表集成学习技术水平的方法”。

9.支持向量机

支持向量机通过寻求结构化风险最小来提高学习机泛化能力,实现经验风险和置信范围的最小化,从而达到在统计样本量较少的情况下,亦能获得良好统计规律的目的。它是一种二类分类模型,其基本模型定义为特征空间上的间隔最大的线性分类器,即支持向量机的学习策略便是间隔最大化,最终可转化为一个凸二次规划问题的求解。

支持向量机可应用于诸如文本分类,图像分类,生物序列分析和生物数据挖掘,手写字符识别等领域。

10.深度学习

深度学习基于人工神经网络的机器学习,区别于传统的机器学习,深度学习需要更多样本,换来更少的人工标注和更高的准确率。

小结

算法是计算机科学领域最重要的基石之一,当下需要处理的信息量是呈指数级的增长,每人每天都会创造出大量数据,无论是三维图形、海量数据处理、机器学习、语音识别,都需要极大的计算量,在AI时代越来越多的挑战需要靠卓越的算法来解决。

THE END
1.算法学习攻略总结:入门至进阶,通关之路指南51CTO博客学算法、刷 LeetCode 绝非一蹴而就,它需要一个循序渐进的过程。 导读 1. 初学者的常见误区 2. 新手小白如何有效刷算法题 2.1. 没有接受自己是算法小白的事实 2.2. 没有合理的刷题方法 3. 正确的算法学习路径 3.1. 基础数据结构与算法知识 3.2. 常见算法思想 https://blog.51cto.com/u_16542656/12047317
2.入门必看算法基础知识讲解小白都也能看得懂上一节中提到:算法就是解决某个或者某类问题的办法,但是,这只是对算法的一个笼统的描述。一个真正的算法,包含以下5大特性:输入、输出、有穷性、确定性、可行性。 输入输出:算法具有零个或者多个输入,至少一个或者多个输出。输入可以为零,但是必须存在输出,输出的形式可有为确定的返回值或者日志的的打印等,如果没https://blog.csdn.net/m0_63174618/article/details/138362160
3.算法入门:从零开始学习算法的简单教程本文介绍了算法入门的基础知识,包括算法的基本概念、重要性及其应用领域。文章详细解释了如何描述和分析算法,并列举了常见的算法类型及其应用场景,适合希望从零开始学习算法的读者。 算法入门:从零开始学习算法的简单教程 算法基础概念介绍 什么是算法 算法是一组定义明确的指令,用于解决特定问题或完成特定任务。算法可https://www.imooc.com/article/357937
4.吴师兄学算法五分钟学算法吴师兄学算法(www.cxyxiaowu.com)提供许多数据结构与算法学习的基础知识, 涵盖 LeetCode 题解、剑指 Offer 题解、数据结构等内容。https://www.cxyxiaowu.com/
5.算法干货主动学习算法学习笔记主动学习方法被提出以有效地处理这类问题。主动学习(Active Learning)是指通过自动的机器学习算法,从数据集中自动筛选出合适的候选集给人工标注的过程。有效的主动学习数据选择策略可以有效地降低训练的代价并同时提高模型的识别能力。在主动学习中,学习器能够主动地选择包含信息量大的未标注样例并将其交由专家进行标注,然https://developer.aliyun.com/article/1177917
6.趣学算法(陈小玉著)带目录完整pdf[95MB]电子书下载第1章 算法之美 1 1.1 打开算法之门 2 1.2 妙不可言—算法复杂性 2 1.3 美不胜收—魔鬼序列 9 1.4 灵魂之交—马克思手稿中的数学题 16 1.5 算法学习瓶颈 21 1.6 你怕什么 22 第2章 贪心算法 24 2.1 人之初,性本贪 25 2.1.1 贪心本质 25 https://www.jb51.net/books/635507.html
7.超详细算法岗的学习路线大总结!机器学习 or 深度学习基础 论文or 项目介绍 其他问题 & 向面试官提问 本文将从以上四点进行展开。 一、数据结构&算法题 随着算法岗越来越卷,Coding几乎成了面试必考的一项,而且在面评中的权重也越来越高,根据个人面试经验,如果这一环节没有很顺利得完成的话,几乎必挂,尤其对于非科班转行的同学,需要特别重视。 https://leetcode.cn/circle/discuss/SX3aa6/
8.算法数据结构体系学习班马士兵教育官网注意原“算法与数据结构基础班”已经过期。所有内容都被现在的“算法数据结构体系学习班”重新讲述,还增加了内容,增加了题目练习。原“算法与数据结构基础班”的所有内容,对应现在的“算法数据结构体系学习班”的1-23节。 注意原“算法与数据结构进阶班”已经过期。所有内容已经被现在的“算法数据结构体系学习班”和“https://www.mashibing.com/course/339
9.机器学习算法原理详解机器学习算法原理详解 机器学习作为人工智能的一个重要分支,其目标是通过让计算机自动从数据中学习并改进其性能,而无需进行明确的编程。本文将深入解读几种常见的机器学习算法原理,包括线性回归、逻辑回归、支持向量机(SVM)、决策树和K近邻(KNN)算法,探讨它们的理论基础、算法流程、优缺点及应用场景。https://www.elecfans.com/d/3669550.html
10.科学网—[转载]进化集成学习算法综述【摘 要】进化集成学习结合了集成学习和进化算法两方面的优势,并在机器学习、数据挖掘和模式识别等领域被广泛应用。首先对进化集成学习算法的理论基础、组成结构及分类情况进行了概述。然后根据进化算法在集成学习中的优化任务,从样本选择、特征选择、集成模型参数组合优化、集成模型结构优化以及集成模型融合策略优化几个方面https://wap.sciencenet.cn/blog-951291-1312816.html
11.机器学习十大经典算法入门[通俗易懂]腾讯云开发者社区机器学习十大经典算法入门[通俗易懂] 大家好,又见面了,我是你们的朋友全栈君。 一,SVM(Support Vector Machine)支持向量机a. SVM算法是介于简单算法和神经网络之间的最好的算法。 b. 只通过几个支持向量就确定了超平面,说明它不在乎细枝末节,所以不容易过拟合,但不能确保一定不会过拟合。可以处理复杂的非线性https://cloud.tencent.com/developer/article/2098380
12.深度学习高手笔记卷1:基础算法本书通过扎实、详细的内容和清晰的结构,从算法理论、算法源码、实验结果等方面对深度学习算法进行分析和介绍。本书共三篇,第一篇主要介绍深度学习在计算机视觉方向的一些卷积神经网络,从基础骨干网络、轻量级 CNN、模型架构搜索 3 个方向展开,介绍计算机视觉方向的里程碑算法;第二篇主要介绍深度学习在自然语言处理方向的https://www.epubit.com/bookDetails?id=UB7d8623610d375
13.python机器学习笔记:深入学习决策树算法原理这些技术都使用一种学习算法(learning algorithm)确定分类模型,该模型能够很好的拟合输入数据中类标号和属性集之间的联系,学习算法得到的模型不仅要很好地拟合输入数据,还要能够正确的预测未知样本的类标号。因此,训练算法的主要目标就是建立具有很好泛化能力模型,即建立能够准确的预测未知样本类标号的模型。https://www.flyai.com/article/622
14.轻松看懂机器学习十大常用算法(附实例)八、Adaboost 算法 九、神经网络 十、马尔可夫 一、决策树 根据一些 feature 进行分类,每个节点提一个问题,通过判断,将数据分为两类,再继续提问。这些问题是根据已有数据学习出来的,再投入新数据的时候,就可以根据这棵树上的问题,将数据划分到合适的叶子上。 https://mse.xauat.edu.cn/info/1038/2182.htm
15.轻松看懂机器学习十大常用算法通过本篇文章可以对ML的常用算法有个常识性的认识,没有代码,没有复杂的理论推导,就是图解一下,知道这些算法是什么,它们是怎么应用的,例子主要是分类问题。 每个算法都看了好几个视频,挑出讲的最清晰明了有趣的,便于科普。 以后有时间再对单个算法做深入地解析。 https://www.jianshu.com/p/55a67c12d3e9
16.《常用算法之智能计算(三)》:机器学习计算因为机器学习计算中涉及了大量的统计学理论,机器学习与统计推断的联系尤为密切,也被称为统计学习理论。算法设计方面,机器学习计算关注可以实现的、行之有效的学习算法,很多推论问题具有无程序可循的难度,所以部分的机器学习研究是开发简单、处理容易的近似算法。http://www.kepu.net/blog/zhangjianzhong/201903/t20190327_475625.html