人工智能所需要学习的技能有哪些?

开通VIP,畅享免费电子书等14项超值服

首页

好书

留言交流

下载APP

联系客服

2023.10.31甘肃

先简述一下,人工智能需要数学基础技能、编程技能、数据工程能力、机器学习基础算法、深度学习算法、开发框架及项目等六大核心技能,聚集此六大技能多半就能站在人工智能最顶尖的一批人了。当然,千万不要对这六大技能感到畏惧,人工智能行业最应该具备的能力就是持续的终身学习的能力。

人工智能核心能力图谱

人工智能(AI)是计算机科学的一个广泛分支,涉及构建能够执行通常需要人类智能的任务的智能机器。虽然人工智能是一门具有多种方法的跨学科科学,但尤其是机器学习和深度学习的进步正在为科技行业的几乎每个领域带来范式转变。

人工智能关系

深度学习的第一步或技能是数学技能。它可以帮助您了解深度学习和机器学习算法的工作原理。当你尝试着去理解一个像机器学习(ML)一样的交叉学科的时候,主要问题是理解这些技术所需要的数学知识的量以及必要的水平。

数学有多重要同学们肯定都十分清楚,尤其是在人工智能(数据科学)领域,不懂数学想必寸步难行。

线性代数是21世纪的数学。在机器学习领域,线性代数无处不在。主成分分析(PCA)、奇异值分解(SVD)、矩阵的特征分解、LU分解、QR分解、对称矩阵、正交化和正交归一化、矩阵运算、投影、特征值和特征向量、向量空间和范数(Norms),这些都是理解机器学习中所使用的优化方法所需要的。

机器学习需要的一些概率和统计理论分别是:组合、概率规则和公理、贝叶斯定理、随机变量、方差和期望、条件和联合分布、标准分布(伯努利、二项式、多项式、均匀和高斯)、矩母函数(MomentGeneratingFunctions)、最大似然估计(MLE)、先验和后验、最大后验估计(MAP)和抽样方法。

当确立好一个算法模型之后,问题的最终求解往往都会涉及到优化问题。在探寻数据空间极值的过程中,如果没有微分理论和计算方法作为支撑,任何漂亮的模型都无法落地。当然如果不具备基础的微积分知识,在理解机器学习算法的优化上同样困难,

因此,夯实多元微分的基本概念,掌握最优化的实现方法,是通向最终解决方案的必经之路。

机器学习中广泛使用的凸优化方法主要分为梯度下降法和拟牛顿法,学习凸优化在机器学习中具有重要的地位,能够帮助我们更有效地训练模型、提高模型的性能,并且提供了坚实的数学基础和工具,用于解决各种优化问题

Python是迄今为止最流行、最好的机器学习语言,超过60%的机器学习开发人员使用并优先使用它进行开发。Python如此有吸引力有几个关键方面。一方面,它很容易学习,这对于那些想要开始机器学习的人来说至关重要。它还具有可扩展性和开源性。入门机器学习需要学习一门编程语言,这门编程语言主推python,如果有编程学习经验的同学可以自行学习。

数据工程包括数据获取,存储和处理。因此,工程师的主要任务是为数据提供可靠的基础架构。如果我们看一下需求的层次结构,数据工程将进入其中的前2-3个阶段:收集,移动和存储,数据准备。

还需要使用和了解绝大多数大数据存储工具,下面总结了大多数用于存储和处理大量数据的工具:

要了解这些工具的工作方式,您需要了解它们所使用的语言。Scala的函数式编程使您可以有效地解决并行数据处理的问题,在性能方面,python远远比不上Scala。还可以使用Java来对这些工具进行操作,不管怎么样你至少需要学会一种手段来操作这些工具。

按照机器学习算法分类可以将机器学习划分为:

监督学习

非监督学习

按照难度划分,可以通过下面内容详细说明一下不同算法之间的难度和入行需要掌握的程度。

知识点

内容

概述

分类算法

逻辑回归,决策树,支持向量机,集成算法,贝叶斯算法

准备面试的同学们必须掌握

回归算法

线性回归,决策树,集成算法

有些算法既能做分类也能做回归

聚类算法

k-means,dbscan等

无监督是实在没标签的时候才考虑的

降维算法

主成分分析,线性判别分析等

重在理解降维的思想

进阶算法

GBDT提升算法,lightgbm,,EM算法,隐马尔科夫模型

监督学习发展历史

监督学习再次划分下去也包括两个类别,分别是分类和回归

分类方法可预测离散响应-例如,电子邮件是真正邮件还是垃圾邮件,肿瘤是恶性还是良性的。分类模型将输入数据划分成不同类别。典型的应用包括医学成像、语音识别和信用评分。

如果您的数据能进行标记、分类或分为特定的组或类,则使用分类。例如,笔迹识别应用会使用分类来识别字母和数字。在图像处理和计算机视觉方面,无监督模式识别方法被用于目标检测和图像分割。

回归方法可用于预测连续响应,例如电池荷电状态等难以测量的物理量,电网的电力负荷或金融资产价格。典型的应用包括虚拟传感、电力负荷预测和算法交易。

无监督学习算法利用未标记的数据自行从数据中发现模式。该系统能够从提供的输入数据中识别隐藏的特征。一旦数据更具可读性,模式和相似性就会变得更加明显。

无监督学习的一些示例包括k均值聚类、层次聚类和异常检测,下面详细介绍了无监督学习的类别和应用

算法名称

类型

特点

应用

K-means

基于划分方法的聚类

将数据分为K组,随机选取K个对象作为初始的聚类中心,计算每个对象与各个种子聚类中心之间的距离,把每个对象分配给距离它最近的聚类中心

客户分析与分类、图形分割

Birch

基于层次的聚类

通过扫描数据库,建立一个聚类特征树,对聚类特征树的叶节点进行聚类

图片检索、网页聚类

Dbscan

基于密度的聚类

将密度大的区域划分为族,在具有噪声的空间数据库中发现任意形状的簇,并将簇定义为密度相连的点的最大集合

社交网络聚类、电商用户聚类

Sting

基于网格的聚类

将空间区域划分为矩形单元,对于不同级别的分辨率,存在多个矩形单元,高层单元被划分为多个低层单元,计算和存储每个网格单元属性的统计信息

语音识别、字符识别

主成分分析(PCA)

线性降维

数据挖掘、图像处理

线性判别分析(LDA)

将高维空间中的数据投影到低维空间中,投影后各个类别的类内方差小,而类间均值差别大

人脸识别、舰艇识别

局部线性嵌入(LLE)

非线性降维

在保持原始数据性质不变的情况下,将高维空间的信号映射到低维空间,从而进行特征值的二次提取

图像识别、高维数据可视化

拉普拉斯映射(LE)

从局部近似的角度构建数据之间的关系,对要降维的数据构建图,图中的每个节点和距离它最近的K个节点建立边关系

故障检测

内容概述

神经网络

神经网络是最基础的,为后方网络的学习打下基础

本质神经网络

大家听起来很熟悉吧,深度学习中的大哥大!计算机视觉的核心网络

北乔峰,南慕容,这就是自然语言处理中的大哥大了!

对抗生成网络

现在比较火的模型,玩起来很有趣,可以进行各种图像融合

序列网络模型

NLP中常用架构,机器学习翻译模型,应用点比较多

两大经典网络架构

刚才说的CNN和RNN都是比较基础的网络模型,在其基础上还有很多拓展需要大家掌握

如果想要实战深度学习建议参考这本书《动手学深度学习》,向希望了解深度学习,特别是对实际使深度学习感兴趣的学、程师和研究员。

如果你是深度学习领域的新手,你可能会遇到的第一个问题是“我应该从哪篇论文开始阅读?”下面是一个深入学习论文的阅读路线图!

这份深度学习论文阅读路线分为三大块:

DeepLearningHistoryandBasics

DeepLearningMethod

Applications

Sklearn:

scikit-learn库是日常机器学习和数据科学最受欢迎的平台之一。原因是它是基于Python构建的,这是一种功能齐全的编程语言。这边有一个经典的Sklearn学习资源

PyTorch:

TensorFlow:

这是YouTube视频的TensorFlow教程,非常生动有趣。有视频讲解,文字教程,还有代码供你学习和练习。

tensorflow_cookbook:GitHub5200Star这是一本TensorFlow英文书的代码,你在网上可以搜到这本书来看看,也可以在这直接使用这些代码进行学习。一共十一章,讲解十分详细

THE END
1.算法基础MOOC中国Q: 学这门课需要数学基础吗? A: 不需要,是算法课,不是数学课。有高中数学知识足矣。 Q: 这门课的程序用什么语言编写? 学这门课是否一定要会C++? A: 课堂的例程都是用C++编写的,要看懂需要一定C++的知识。至于完成作业,用C, C++, Java,Pascal语言都可以。 https://www.mooc.cn/course/1516.html
2.2020年深度学习算法工程师面经(微软阿里商汤滴滴华为简单分为深度学习、机器学习基础、图像处理基础、数学基础、算法基础、程序设计语言、模型部署、HR面试以及与我本人简历相关的目标检测、属性识别、Kaggle及天池的比赛、创新想法等几个部分介绍。可能开始会有重叠或者分类不恰当,后面会逐渐更新完善。其中第一篇先介绍到HR面试,第二篇介绍个人相关的项目和比赛部分。https://maimai.cn/article/detail?fid=1514590373&efid=Oph3033j5Qs70xHZdz0sGA
3.关于机器学习,这可能是目前最全面最无痛的入门路径和资源!1、机器学习第一语言Python 2、机器学习中数学基础 3、机器学习算法基础 4、深度学习框架基础 再次强调,我本文中提及所有知识点和资源,仅仅是让你入门机器学习,如果想要走更远,那肯定是远远不够的,我们还是要继续努力才可以呢! 话不多说,我们出发吧! https://www.36kr.com/p/5109465.html
4.从零开始:机器学习的数学原理和算法实践本书从数学基础知识入手,通过前3章的介绍,帮助读者轻松复习机器学习涉及的数学知识;然后,通过第4~第13章的介绍,逐步讲解机器学习常见算法的相关知识,帮助读者快速入门机器学习;最后,通过第14章的综合实践,帮助读者回顾本书内容,进一步巩固所学知识。 本书适合对机器学习感兴趣但数学基础比较薄弱的读者学习,也适合作为https://www.epubit.com/bookDetails?id=UB77b8ad3a2522b
5.开玩笑,数学没用论?程序员的需要掌握的数学知识人工智能跟开发 APP 、后台服务器、前端相比,人工智能需要大量的数学知识。一般都需要用到哪些呢? 微积分线性代数概率论最优化关于书籍,特别说明一下,除非你是数学知识遗忘的特别厉害了,或者是本科的时候没有学过相关数学知识,或者你对数学有强烈的https://mp.weixin.qq.com/s?__biz=Mzg2MTAwMTI3MA==&mid=2247494583&idx=1&sn=462acbdf6d593a354cba9c97f2e0a501&chksm=ce1f68eef968e1f80d84bf917c2c70f52ab73678666ce81bff2c3b6c281d2851d43e15393976&scene=27
6.学习机器需要学数学基础吗?学习机器前要先学什么?了解这些数学知识,能够帮助您更好地理解机器学习算法的原理,加深对算法的理解和应用,提高模型的效果。 当然,对于初学者来说,可以通过一些入门的机器学习课程来学习相关知识,也可以使用现有的机器学习工具和库进行实践。但是,如果想要深入研究机器学习,还是需要有扎实的数学基础。 https://blog.csdn.net/gp16674213804/article/details/129231855
7.数据挖掘需要什么数学基础(一)在学习数据挖掘的时候,我们一定要掌握一些数学基础,毕竟数据挖掘中涉及到了很多的算法。说到这里我们要给大家说一说数据挖掘的概念,数据挖掘就是从大量数据中获取隐含的、潜在的是有价值信息的过程,数据挖掘也是这些年计算机领域主要的研究内容。那么数据挖掘需要什么数学基础呢?下面我们就为大家讲解一下这些知识。 https://www.cda.cn/view/26462.html
8.算法工程师需要学什么(通用7篇)关键词:电气工程师要学什么,电气工程师需要学什么 电气工程师需要学什么: 1、基础知识的学习:高等数学、流体力学、普通物理、计算机应用基础、普通化学、电工电子技术、理论力学、工程经济、材料力学、电路与电磁场、模拟电子技术、数字电子技术、电气工程基础。 https://www.360wenmi.com/f/filew0a3us7m.html
9.算法工程师要学什么常见问题算法工程师必备七大技能:数据结构和算法编程语言数学基础算法设计与分析分布式系统机器学习和深度学习软件工程实践,助力解决计算机科学和工业中的复杂问题。 算法工程师必修技能 算法工程师是计算机科学领域的专业人员,负责设计、分析和实现高效算法来解决计算问题。要成为一名合格的算法工程师,需要掌握以下核心技能: 1. 数据https://m.php.cn/faq/816502.html
10.俄罗斯的数学为什么这么强?从读者需求出发,精心提炼机器学习所需数学基础知识 无门槛,通俗易懂,注重读者感受,既好学,又实用 基于Python,从应用角度阐述数学在机器学习中的应用 选用大量工程实践案例,打通数学基础与机器学习间的壁垒 本书系统地阐述机器学习的数学基础知识,但并非大学数学教材的翻版,而是以机器学习算法为依据,选取数学知识,并从应http://www.broadview.com.cn/article/420045
11.人民日报:用好算法,迈向智能社会目前,算法的不断进步主要基于大数据。我国在人工智能领域拥有数据量庞大的优势,有助于机器学习发展。与此同时,提高算法创新能力必须重视基础研究,重视数学的独特作用和价值。数学不仅为算法创新提供模型和工具,也为算法的发展提供思想源泉。算法应用场景也会对数学理论提出新的问题与挑战。发展新的数学理论和工具来解决相关https://kjt.shaanxi.gov.cn/kjzx/mtjj/276381.html
12.想学ai怎么样入门?从哪入手?要学习人工智能(AI),可以从以下几个方面入手: 1. 基础知识: - 数学基础:需要掌握线性代数、概率论和数理统计等数学知识,这些是理解机器学习和深度学习算法的基础。 - 编程基础:至少要熟悉一种编程语言,如Python或C++。Python尤其在AI领域应用广泛,因为其丰富的库https://www.hnbyed.com/ai/4991.html
13.深度学习:基础要求与必备技能然而,深度学习作为一门结合了机器学习、统计学、计算机科学等多个领域的学科,需要一定的基础。那么,想学习深度学习需要什么样的基础呢?本文将就此展开讨论。深度学习的基础要求 数学基础深度学习本质上是基于统计学、线性代数、微积分、概率论等数学理论的一门学科。因此,想学习深度学习,你需要对这些数学基础知识有一定https://developer.baidu.com/article/detail.html?id=1849633
14.手把手教你,做算法工程师需要哪些数学知识?今天和大家聊一个老生常谈的话题,学算法需要多少数学能力。 误区 谈到这个话题,估计很多同学会说,学算法啊,对数学的要求应该很高吧? 甚至之前还在知乎里看到这么一个问题,有人提问:我想学算法,我到底是应该报数学系呢,还是计算机系?我想估计也有不少同学有这样的困扰。 https://cloud.tencent.com/developer/article/2083695
15.机器学习和深度学习之数学基础线性代数是机器学习和深度学习算法的数学基础之一,这个系列的文章主要描述在AI算法中可能涉及的线性代数相关的基本概念和运算。本文主要参考Garrett Thomas(2018),Marc Peter Deisenroth(2018),Strang(2003),José Miguel Figueroa-O’Farrill, Isaiah Lankham(UCD, MAT67,2012)等教授的相关讲座和教材。本文的主要内容包https://www.jianshu.com/p/2134923e1f5b
16.统计学习方法(豆瓣)喜欢读"统计学习方法"的人也喜欢· ··· 利用Python进行数据分析8.6 数学之美8.7 集体智慧编程9.0 凸优化9.4 R语言实战8.8 Machine Learning9.1 统计自然语言处理(第2版)8.6 动手学深度学习9.2 数据科学实战8.0 算法导论(原书第3版)9.3 当前版本有售· ··· 得到 9.90https://book.douban.com/subject/10590856/
17.中国工程物理研究院研究生院博士学历,具有量子模拟,量子算法,量子纠错或错误缓解等相关研究的经验,或者具有量子多体系统计算的经验(熟悉量子蒙卡计算者优先),或者具有机器学习和优化算法的经验。 方向三:可靠性理论和试验的物理数学基础 合作导师:孙昌璞、关雪飞 方向简介:研究可靠性理论的统计物理及概率推断基础,研究失效率曲线科学构建的统计物理基https://gscaep.ac.cn/subPage/rencaizm.html?id=2160