想学习人工智能,这个的数据集必须掌握,MNIST入门与实战人工智能

上述包含两种类型的内容,一种是图片,另外一种是标签,图片与标签一一对应。但是这里的图片并非是我们平时看到的图片文件,而是一个二进制的文件。该数据集以一个二进制的形式对6万个图片进行了存储。标签则是图片对应的真是数字。

如下图所示,本文将数据集下载到本地,并且解压后的结果。为了便于对比,这里面包含原始的压缩包和解压后的文件。

大家已经发现,压缩包解压后并非一个个的图片,而是每个压缩包对应着一个独立的问题。而在这个文件中存储着上万个图片或者标签的信息。那么这些信息是如何存储在这个文件当中的呢?

其实MNIST的官网给出了详细的描述。以训练集的图片文件为例,官网给出的文件格式描述如下:

从上图可以看出,前4个32位数是该训练集的描述信息。其中第一个是魔数,为固定值0x0803;第二个是图片的数量,0xea60,也就是60000;第三个和第四个是图片的大小,也就是图片是28*28像素。下面则是以一个字节来描述每个像素。由于该文件中以一个字节来描述一个像素,可以知道像素的值可以是从0到255。其中0表示白色,而255表示黑色。

标签文件的格式与图片文件的类似。前面有两个32位数,其中第一个是魔数,固定值0x0801;第二个用于描述标签的数量。接下来的数据是每个标签的值,用一个字节表示。这里表示值的范围是

对应实际训练集的标签文件的数据如下所示。可以看出与上述格式的描述是一致的。另外,我们可以看出,对应该标签集,前面几张图片表示的数字分别应该是5,0,4,1等等。这里大家记一下,后面会用到。

关于数据集的文件格式我们了解了,下面我们实际操作一下。

知道上述数据的存储格式后,我们就可以对数据进行解析了。比如下面本文实现了一个小程序,用于解析该图片集合中的某个图片,并得到可视化结果。当然,其实我们可以根据标签集合的值知道图片是什么,这里只是一个实验。最终结果是以一个文本文件存储的,用字符“Y”表示笔迹,字符“0”表示背景色。具体程序代码很简单,本文不再赘述。

#-*-coding:UTF-8-*-deftrans_to_txt(train_file,txt_file,index):withopen(train_file,'rb')assf:withopen(txt_file,"w")aswf:offset=16+(28*28*index)cur_pos=offsetcount=28*28strlen=1out_count=1whilecur_pos0:wf.write("Y")else:wf.write("0")#由于图片是28列,因此在此进行换行ifout_count%28==0:wf.write("n")cur_pos+=strlenout_count+=1trans_to_txt("../data/train-images.idx3-ubyte","image.txt",0)我们运行上述代码,可以得到一个名为image.txt的文件。可以看到该文件的内容如下。其中红色笔记是后面添加了,主要是为看的清楚一些。从图中内容可以看出,这个其实就是手写的“5”。

前面我们通过原生的Python接口对数据集进行了可视化的解析。Python有很多已经实现好的库函数,因此我们可以通过一个库函数简化上述功能。

采用原生的Python接口实现起来略显复杂。我们知道Python有很多第三方库,因此我们可以借助第三方库来实现对数据集的解析和展示,具体代码如下。

上述结果的呈现只是通过字符来模拟图片。其实我们可以借助第三方库实现更加完美的图片呈现。接下来我们介绍一下如何通过matplotlib库来呈现图片。这个库非常有用,后续还会接触到这个库。

我们实现一个

defshow_image(data,index):fig,ax=plt.subplots(nrows=1,ncols=1,sharex=True,sharey=True,)img=data[0].reshape(28,28)ax.imshow(img,cmap='Greys',interpolation='nearest')ax.set_xticks([])ax.set_yticks([])plt.tight_layout()plt.show()此时可以看到

实现上述功能的时候可能会缺少一些第三方库,比如matplotlib等。此时需要我们手动进行安装,具体方法如下:

#-*-coding:utf-8-*-fromtensorflow.examples.tutorials.mnistimportinput_dataimportpylabdefshow_mnist():#通过TensorFlow库解析数据mnist=input_data.read_data_sets("../data",one_hot=True)im=mnist.train.images[0]im=im.reshape(28,28)#进行绘图pylab.imshow(im,cmap='Greys',interpolation='nearest')pylab.show()if__name__=="__main__":show_mnist()

THE END
1.3小时吃透TensorFlow深度学习框架,从环境配置到项目实战,究极通俗3小时吃透TensorFlow深度学习框架,从环境配置到项目实战,究极通俗易懂!我爱深度学习-编辑于 2024年12月16日 16:42 TensorFlow 系统课程+配套资料传送门→分享至 投诉或建议评论 赞与转发0 0 0 0 0 回到旧版 顶部登录哔哩哔哩,高清视频免费看! 更多登录后权益等你解锁https://www.bilibili.com/opus/1011465567024971813
2.TensorFlow深度学习:模型训练与部署方案TensorFlow深度学习:模型训练与部署方案 基础知识 简介 是由Google Brain团队开发的开源深度学习框架,广泛用于机器学习和人工智能领域。它提供了丰富的工具和库,可用于构建和训练各种深度学习模型。 特性 的特性包括灵活的架构、跨平台支持、自动微分、分布式训练等。它支持多种编程语言,如Python和C++,并且能够在CPU和GPUhttps://www.jianshu.com/p/3b32a4777665
3.TensorFlow技术解析与实战电子书,李嘉璇工具类TensorFlow技术解析与实战是由李嘉璇著作,人民邮电出版社出版,TensorFlow?是谷歌公司开发的深度学习框架,也是目前深度学习的主流框架之一。本书从深度学习的基础讲起,深入TensorFlow框架原理、模型构建、源代码分析和网络实现等各个方面。全书分为基础篇、实战,更多下载https://download.csdn.net/download/qq_41138326/10933923
4.TensorFlow技术解析与实战pdf(清晰版)TensorFlow实战google深度学习 完整代码!!! 上传者:ubuntu856时间:2017-12-04 TensorFlow技术解析与实战源码 《TensorFlow技术解析与实战》源代码,适合初学者,是很好的学习资源 上传者:u010122780时间:2018-03-16 Hands-On Machine Learning with Scikit-Learn and TensorFlow.pdf https://www.iteye.com/resource/mubai_csdn-10455151
5.TensorFlow技术解析与实战.pdf李嘉璇2017年版TensorFlow技术解析与实战.pdf-李嘉璇-2017年版-人民邮电出版社 关闭预览 想预览更多内容,点击免费在线预览全文 免费在线预览全文 TensorFlow?是谷歌公司开发的深度学习框架,也是目前深度学习的主流框架之一。本书从深度学习的基础讲起,深入TensorFlow框架原理、模型构建、源代码分析和网络实现等各个方面。全书分为基础篇、https://max.book118.com/html/2020/1217/8033122041003027.shtm
6.送你一场最in的人工智能技术分享致力于人工智能的研究,对深度学习框架的架构、源码分析及在不同领域的应用有浓厚兴趣。有过上百篇论文阅读和深度学习经验,处理图像、社交文本数据情感分析、数据挖掘经验,参与过基于深度学习的自动驾驶二维感知系统Hackathon竞赛,现在某人工智能创业公司工作。曾任职百度研发工程师。著有《TensorFlow技术解析与实战》。https://labs.epubit.com/articleDetails?id=NC7E3EF941B2000017D6354701EC016F6
7.2020年第七期全国高校大数据与人工智能师资研修班8 模型结果与评估 泰迪云课堂 操作演练个人PC 在线答疑微信群 实战项目介绍:基于深度学习的车牌识别系统项目 技能点:深度学习实战、TensorFlow框架、图像处理技术、OpenCV应用、实际项目搭建与应用。 1 明确项目目标 2 准备数据 3 照片预处理 4 定位车牌信息 http://www.tipdm.com/pxdt/2015.jhtml
8.扩散模型:AI艺术创作的核心技术51CTO博客通过上述优化方法和策略,我们可以显著提高扩散模型的生成质量。学习率调度、正则化技术和多尺度生成不仅能够改善模型的训练过程,还能使其生成的艺术作品更具细节和真实性。 扩散模型项目实战 在本章中,我们将通过一个具体的扩散模型项目实战,详细讲解开发环境搭建、代码实现与解析,以及项目实战的关键步骤。通过这个项目,我https://blog.51cto.com/universsky/12693303
9.智能Ai云平台的搭建与开发,TensorFlow基础与案例实战教学50.模型部署与效果演示.mpg 07第七章:实战TensorFlow人脸识别 51.第七部分内容介绍.mpg 52.人脸识别问题概述.mpg 53.典型人脸相关数据集介绍.mpg 54.人脸检测算法介绍.mpg 55.人脸识别算法介绍.mpg 56.人脸检测工具介绍.mpg 57.解析 FaceNet 人脸识别模型.mpg http://www.bbfx.cc/995.html
10.AIGC:从入门到精通AIGC工具导航通过实践操作和高级应用,优化策略,以及实战指南,结合AIGC工具的使用,激发创意,实际操作AI生成内容创作。避免常见误区,紧跟技术发展,拥抱AIGC,探索无限可能。 从入门到精通:AIGC工具导航 引言 在当今信息爆炸的时代,人工智能生成内容(AIGC)正以前所未有的速度改变着内容创作的格局。从智能写作到图像生成,从音频合成到https://www.imooc.com/article/349119
11.tensorflowmachinelearning,deeplearningdata对抗生成网络架构原理与实战解析 GAN模型通俗解读 基于CycleGan开源项目实战图像融合 PyTorch版本的CYCLEGAN,这个开源项目写的相当棒 OCR文字识别原理 OCR其实原理很简单,需要多个模型协助完成 OCR文字识别项目实战 构建OCR网络模型 基于3D卷积的视频分析与动作识别 用3D卷积来处理视频数据并完成行为识别 基于PyTorch实战BERT模https://github.com/aristo-ai/Ai-Learn/
12.模型,大数据数据分析与数据挖掘,企业数字化等产业链高端技术Dataguru炼数成金是专注人工智能与大语言模型,大数据、数据分析与数据挖掘,企业数字化等产业链高端技术的专业社区及面向网络逆向培训服务机构,通过系列实战性培训课程,包括人工智能,大模型,专家机器人,AIGC,AIOPS,ChatGPT,数据分析,数据挖掘,商业智能,大数据,机器学http://bi.dataguru.cn/
13.开小灶啦!福州理工学院首批6个微专业来了!本课程将带你深入探索这个充满挑战与机遇的领域,不仅全面解析网络安全的基本原理和技术,还注重实战操作与团队协作的完美结合。通过本课程,你将学会如何敏锐地监测、识别和分析各种网络安全威胁,构建坚固的防御体系,并利用数据分析和情报收集来预测和防范潜在的风险,确保网络安全无懈可击。http://oaa.fit.edu.cn/html/598230166.html
14.TensorRt加速推理实战:案例解析与代码实践物联沃TensorRt加速推理实战:案例解析与代码实践 目录 前言 一、TensorRT简介 1.1TensorRT 的主要特点 1.2TensorRT 的工作流程 二、具体示例 2.1代码 2.2代码结构 2.3打印结果 前言 TensorRT 是 NVIDIA 开发的一款高性能深度学习推理引擎,旨在优化神经网络模型并加速其在 NVIDIA GPU 上的推理性能。它支持多种深度学习框架,并https://www.iotword.com/25763.html
15.全网知识付费网课资源:IT会员社群教程目录持续更新(2024)010.2022年经典再升级FFmpeg5.0核心技术精讲,打造音视频播放器完结无秘 009.极客测试开发进阶训练营2022年价值4999元重磅首发无秘第十周 008.【慕课】WebGL+Three.js入门与实战,系统学习Web3D技术无秘更新中第九章 007.【慕课】NestJS入门到实战前端必学服务端新趋势无秘更新中第10章 https://www.dklx.com/15271.html
16.关于举办AIGC技术与大模型应用实战师资培训的通知同时为助力战略性新兴产业融合集群发展和现代化产业体系建设,以实现高水平科技自立自强、建成教育强国、科技强国、人才强国的远大目标,深圳信息职业技术学院(通信类国家级职业教育“双师型”培训基地)结合当前新兴产业技术发展趋势与人才培育需求,拟定于2024年4月11日-17日举办“AIGC技术与大模型应用实战师资培训”活动,http://www.sziit.com.cn/info/1038/16020.htm
17.智能监控嘲下进行大规模并行化视频分析?西安交大博士教给你3月23日起,智东西联合NVIDIA推出「实战营」第一季,共计四期。第三期于4月13日晚8点在智东西「智能安防」系列社群开讲,由西安交通大学人工智能与机器人研究所博士陶小语、NVIDIA高级系统架构师易成二位讲师先后主讲,主题分别为《智能监控场景下的大规模并行化视频分析方法》和《NVIDIA DGX-2 驱动智能监控革命》。 https://www.jiemian.com/article/2095991_qq.html
18.专注智能时代的人才培养与企业服务《TensorFlow技术解析与实战》作者,本书获得Jeff Dean、李航、余凯、山世光等专家倾力推荐。曾任职百度研发工程师,对深度学习框架的架构、源码分析及应用有一定经验,参与过基于DL的自动驾驶二维感知系统Hackathon竞赛。 老齐 《跟老齐学Python》作者 老齐,苏州易水禾软件和苏州研途教育科技技术总监。著有系列图书《跟老http://www.julyedu.com/join/teacher
19.Tensorflow:实战Google深度学习框架(豆瓣)博文视点AI系列(共109册),这套丛书还有 《解析深度学习:卷积神经网络原理与视觉实践》《视觉SLAM十四讲:从理论到实践(第2版)》《深度学习框架PyTorch快速开发与实战》《分布式机器学习——系统、工程与实战》《知识图谱》等。 喜欢读"Tensorflow:实战Google深度学习框架"的人也喜欢的电子书 ··· 支持Web、iPhonehttps://book.douban.com/subject/26976457