神经网络与深度学习西安科技大学

1.什么是神经网络?什么是深度学习?它们和人工智能有何关系?

人工智能的发展经历了逻辑推理、专家系统、机器学习三个阶段。机器学习是人工智能领域中目前最活跃的一个分支,神经网络是机器学习中的一种方法,深度学习又是在神经网络的基础上发展起来的。在最近数年中,计算机视觉、语音识别、自然语言处理、和机器人等领域所取得的惊人的进展,都离不开深度学习,它是这一轮人工智能热潮的核心驱动力量,已经成为人工智能领域最重要的技术之一。深度学习不仅改变了计算领域,也为智能制造、交通物流、医疗健康、文化教育、金融财务、安防警戒、农业、通信、文学/艺术创作等其他多个领域提供了强大的新工具。可以说,深度学习正在、或将要改变科学和人类努力的各个领域。

2.为什么要学习这门课?

近年来,随着大数据的快速积累、计算资源的成熟发展、以及学习算法的发展创新,人工智能技术在多个领域取得重大突破,已经成为经济发展的新引擎,被视为推动现代社会进步的主要核心技术力量之一,它正在为农业、医疗、教育、能源、国防等诸多领域提供大量新的发展机遇。

2017年7月20日,国务院印发《新一代人工智能发展规划》,鼓励高校拓宽人工智能专业教育内容,重视人工智能与数学、计算机科学、物理学、生物学、心理学、社会学、法学等学科专业教育的交叉融合,培养“人工智能×专业”复合型人才。因此,任何专业的学生,都应该掌握一些人工智能的知识。

3.这门课程所采用的深度学习框架是什么?

这门课程主要采用目前最主流的TensorFlow和PyTorch深度学习框架作为实践平台。

TensorFlow就是谷歌公司推出的一款高效的人工智能开源框架,自从2015年11月发布以来,已经成为全世界最广泛使用的深度学习库。很多以前难以实现的大规模人工智能任务,都可以借助它来实现。2019年10月正式发布的TensorFlow2.0版本,是对TensorFlow1.x版本彻底的、革命性的改造,它非常的简单、清晰、好用,并且容易扩展,极大地降低了深度学习编程的门槛,使得普通人也能够体验开发人工智能应用程序的乐趣。随着TensorFlow的发展,一直在更新,先后从1.x更新到2.0、2.4,目前我们课程使用的是TensorFlow2.4版本。

PyTorch是由Facebook开源的神经网络框架,它提供了丰富的工具和库,便于深度学习模型的构建、训练和部署,主要在学术研究领域处于领先地位。同时,PyTorch的代码很简洁、易于使用且内存使用很高效。

4.这门课程的主要内容是什么?学习这门课程后具备什么能力?

课程以神经网络与深度学习的理论及其实例为主线,内容包括Python编程基础、多维数组和数据可视化、TensorFlow2.0/PyTorch深度学习框架基础、回归问题、分类问题、人工神经网络和卷积神经网络。我们将循序渐进、抽丝剥茧的详细介绍算法原理,并为每个重要的理论知识点精心设计了对应的TensorFlow与PyTorch实例,使学习者具备扎实的理论基础和良好的应用能力,能够根据实际任务的需求,合理选择和使用数据,构建、训练和测试模型,并调整模型或参数,优化和改进系统;能够对实验结果进行分析和解释,评估模型精度和误差,具备人工智能应用软件的方案选择、设计和开发能力。

5.这门课提供哪些课程资源?

6.这门课程面向的学习对象?需要有什么基础?

这门课程面向多种学科专业、多层次的学习者。只要具备以下基础,就可以尝试开始学习:

⑴高等数学、线性代数、概率论的基本知识。知道导数、梯度、向量、矩阵、概率等基本概念及运算方法。

⑵学习过“大学计算机基础”或者其他类似的课程,知道计算机系统的基础知识。

⑶学习过任何一门编程语言。了解程序设计的基本方法,能够正确的编写出基本的练习程序。

7.每次开课的内容一样吗?如何查看课程的全部内容?

根据每次开课过程中积累的经验和存在的问题,以及深度学习技术和工具的不断发展,我们的课程一直在持续改进中,每个新的学期,我们都会对课程内容进行适当的调整、更新和补充。其中主要的更新有:

⑴TensorFlow版本的更新:在第2-6次开课中,对TensorFlow安装教程的版本进行多次更新,从1.x版本逐步更新到2.0以及2.4版本。

⑵为所有视频添加了字幕,便于对课程的理解。

⑶内容的补充和完善:在第4-6次开课中,依次补充了卷积神经网络实例、典型的卷积神经网络、AI伦理、TensorFlow.js、TensorFlowLite、PyTorch实例等内容。

⑷不断优化测试题、讨论题和作业题,使其更加贴合课程内容,描述更加严谨规范。

目前正在进行第七次开课,课程每周二更新,如果想要学习最新的课程内容并获得课程证书,建议大家参加第七次课程;如果想提前了解课程的全部内容,可以查看第六次开课。为了便于大家学习,已结束的课程仍然可以浏览课程视频和文档,只是无法提交作业、参与课堂讨论。

8.课程有哪些亮点和特色?

⑴选材先进,理论适度、注重应用实践能力的培养

深度学习是当前人工智能领域最具影响力的研究方向,在各个领域的应用中取得了良好的实践效果。本课程理论适度,并与实践紧密结合,在讲透基本原理讲透的同时,每一个基础理论方法都设计了与之高度匹配的编程实例和作业,。

⑵采用迭代式教学设计,搭建能力提升阶梯

课程遵循“两性一度”标准,采用迭代式教学设计,例如:

①每一个重要的知识点,都提供与之匹配的编程实例以及不断深入的作业题、讨论题和延展题。通过不断提出新的问题,从分析数据、选择属性,到设计模型、优化性能,再到研究性任务,引发学习者自主深入思考。

②在不同的知识点之间,通过对同一个任务的层层迭代,逐渐提升学习者综合运用知识的能力。例如,实例鸢尾花分类、手写数字识别贯穿第6~15讲多个知识点,不断优化;实例波士顿房价回归、鸢尾花分类、手写数字识别、cifar图像分类、猫狗大战等各成系列又层层堆叠优化,帮助学生逐步搭建能力提升阶梯,最终能够设计和实现复杂的人工智能应用。

⑶“高内聚、低耦合”的模块化的内容设计,适用于多层次、多学科专业

面向多元化的社会学习者,将课程内容凝练为高度模块化的80个知识点和25个实例,各模块之间相互独立又相辅相成,不同基础的学习者可以根据实际情况“按需选材,因材施教”。例如,注重理论知识学习的同学,可以忽略实例部分,只浏览理论学习的视频,也是连贯和自成一体的。对于已经掌握理论知识,只是想学习TensorFlow的同学,则可以仅浏览TensorFlow基础和编程实践部分的课程。另外,有一定基础的同学,也可以先完成测试题和作业题,了解自己对知识的掌握情况,然后再根据需要有选择性的浏览课程内容。

由高教社联手网易推出,让每一个有提升愿望的用户能够学到中国知名高校的课程,并获得认证。

THE END
1.人工智能学习框架分类及特点初步成型:2010年左右,Theano成首个流行深度学习框架,开启GPU加速先河。 蓬勃发展:2015 - 2016年间,TensorFlow和PyTorch相继发布,前者由Google推出,后者源于Facebook,二者分别凭借强大计算能力和动态图机制成为业界宠儿。 多样化发展:2017年后,Keras凭借易用性崭露头角,PaddlePaddle等国产框架也开始崛起。 https://blog.csdn.net/noboxihong/article/details/144401134
2.深度学习轻量级神经网络模型,嵌入式微小设备也能实时检测然而,这些网络虽然具有深度上下文理解,但计算要求非常高,因此需要消耗数百瓦特功率的强效和昂贵硬件,使其不适合大多数IoT处理器。这促使学者们提出使用模型量化方法来实现移动和低功耗嵌入式设备上的微机器学习(TinyML)。虽然轻量级神经网络的进步使得在图像分类等任务上取得了很大的进展[11],最近开始在简化目标检测任务上https://blog.51cto.com/u_15671528/12791754
3.在线深度学习:在数据流中实时学习深度神经网络机器之心与经常在浅层神经网络中最优化一些凸性目标函数的传统在线学习(例如,线性的/基于核的假设)不一样的是,在线深度学习(ODL)更加具有挑战性,因为深度神经网络中的目标函数的优化是非凸的,而且常规的反向传播在实际过程中也不能很好地奏效,尤其是在线学习的设置中。在这篇论文中,我们提出了一种新的在线深度学习框架,https://www.jiqizhixin.com/articles/2017-12-30
4.国产开源深度学习框架,深度学习,简单开发3分钟看懂旷视深度学习框架MegEngine 立即观看 MegStudio 在线深度学习开发平台 MegStudio基于-MegEngine框架,提供高级免费算力、 模型库、公开项目与数据集、在线模型开发环境 开始使用 MegEngine 深度学习,简单开发 训练推理一体,缩短研发周期 超低硬件门槛,降低使用成本 https://megengine.org.cn/
5.武汉大学智能遥感解译LuoJiaNET框架与LuoJiaSET样本库正式上架武汉大学在国家自然科学基金委重大研究计划集成项目的支持下,与华为MindSpore框架团队共同研发了全球首个遥感影像智能解译专用深度学习框架武汉.LuoJiaNET和业界最大遥感影像样本库LuoJiaSET,并在华为昇思社区上线。在中国科学院院士龚健雅教授指导下,项目组建了以胡翔云教授为项目负责人,张觅副研究员、姜良存副研究员分别为Luhttps://rsgis.whu.edu.cn/info/1252/10354.htm
6.百度飞桨能做什么百度飞桨平台功能介绍超大规模深度学习模型训练技术 飞桨突破了超大规模深度学习模型训练技术,领先其它框架实现了千亿特征、万亿参数、数百节点并行训练的能力,解决了超大规模深度学习模型的在线学习和部署难题,实现了超万亿规模参数模型的实时更新。此外,飞桨还覆盖支持包括模型并行、流水线并行在内的最广泛并行模式和加速策略,引领了大规模分布式https://shouyou.3dmgame.com/gl/232761.html
7.深度学习实战篇:12大深度学习开源框架汇总详解(上)在人工智能的浪潮中,深度学习作为核心技术之一,正在不断地推动科技地进步。 深度学习框架作为实现深度学习算法的工具,其重要程度不言而喻。完善、开源的框架社区生态,也为深度学习的研究和应用提供了强大的支持。 然而,面对众多的深度学习框架,如何选择一款最适合你的开源框架,成为每个深度学习开发人员的必经之路。 http://www.360doc.com/content/24/0807/08/50382475_1130659978.shtml
8.Tensorflow:实战Google深度学习框架(豆瓣)TensorFlow是谷歌2015年开源的主流深度学习框架,目前已在谷歌、优步(Uber)、京东、小米等科技公司广泛应用。《Tensorflow实战》为使用TensorFlow深度学习框架的入门参考书,旨在帮助读者以最快、最有效的方式上手TensorFlow和深度学习。书中省略了深度学习繁琐的数学模型推导,从实际应用问题出发,通过具体的TensorFlow样例程序介绍https://book.douban.com/subject/26976457
9.主流深度学习框架CNTK在Azure GPU Lab提供了最高效的分布式计算性能。目前,CNTK对ARM架构的缺乏支持,限制了其在移动设备上的功能。 除了上述列出的深度学习框架之外,还有一些框架在下面的列表中。 随着深度学习框架的不断成熟,将会出现TensorFlow,Caffe 2和MXNet之间的竞争是预料之中的。https://cloud.tencent.com/developer/article/1464586
10.深度学习框架——Darknet·Taobotics通过视频的演示,我们可以了解到 Darknet 能够将图像上的物体选中并识别出来。本小节将介绍如何将开源项目深度学习框架 darknet移植到我们 handsfree ros机器人上,让我们的 handsfree ros 机器人通过摄像头完成简单的图像识别。 本文将简单的引导如何在我们的 handsfree ros机器人上使用 Darknet ,以及用下载好的模型来https://docs.taobotics.com/docs/handsfree/handsfree/Tutorial/Advanced/Object-Recognition/doc.html
11.什么是深度学习?MicrosoftAzure了解深度学习的定义、深度学习的用途及其工作原理。获取有关神经网络和 BERT NLP 的工作原理及其优点的信息。https://azure.microsoft.com/zh-cn/overview/what-is-deep-learning
12.深度学习平台KDL购买价格功能优势嘲案例深度学习平台KDL(Kingsoft Deep Learning)金山云为您提供深度学习平台服务,购买价格、功能优势、运用场景、案例文档、帮助您解决深度学习中的各类问题。https://www.ksyun.com/proservice/kdl
13.cubestudio开源云原生一站式机器学习/深度学习/大模型AI平台传统机器学习: ray-sklearn分布式, xgb单机训练推理 传统机器学习算法: ar/arima时间序列算法/random-forest/random-forest-regression/lr/lightgbm/knn/kmean/gbdt/decision-tree/pca/lda/catboost/xgb/超参搜索 分布式深度学习框架: tf/pytorch/mxnet/horovod/paddlejob/mindspore分布式训练 https://github.com/tencentmusic/cube-studio
14.彻底掌握ONNXRUNTIME框架深度学习模型部署看它!ONNXRUNTIME是主流的深度学习部署框架之一,支持ONNX格式模型在CPU、GPU、ARM等不同硬件平台上加速推理,支持C++、Python、Java、C#、JS等不同语言SDK。C++版本安装包下载如下: 不同版本的ONNXRUNTIME安装文件下载地址: https://github.com/microsoft/onnxruntime/tags https://www.eet-china.com/mp/a340798.html
15.深度学习(Deeplearning)综述5. 通道剪枝(channel pruning):结构或非结构剪枝:deep compression, channel pruning 和 network slimming等; 在CNN网络中,通过对特征图中的通道维度进行剪枝,可以同时降低模型大小和计算复杂度,并且压缩后的模型可以直接基于现有的深度学习框架进行部署。 6. 权重稀疏化(weight sparsification):通过对网络权重引入稀疏性https://www.jianshu.com/p/c8a46f00b06d