Spark编程基础(Python版)教材官网

厦门大学林子雨,郑海山,赖永炫编著

林子雨(ziyulin@xmu.edu.cn)

披荆斩棘,在大数据丛林中开辟学习捷径

填沟削坎,为快速学习Spark技术铺平道路

深入浅出,有效降低Spark技术学习门槛

资源全面,构建全方位一站式在线服务体系

本教材已经上市销售,可以京东、当当网购

ISBN:978-7-115-52439-3定价:49.80元人民邮电出版社

2020年4月第1版

(备注:第2版教材书稿已经提交给出版社,预计2024年6月上市销售)

本页面内容导航

扫一扫访问本网页

《Spark编程基础(Python版)》

教材简介

本书以Python作为开发Spark应用程序的编程语言,系统介绍了Spark编程的基础知识。全书共8章,内容包括大数据技术概述、Spark的设计与运行原理、Spark环境搭建和使用方法、RDD编程、SparkSQL、SparkStreaming、StructuredStreaming、SparkMLlib等。本书每个章节都安排了入门级的编程实践操作,以便读者更好地学习和掌握Spark编程方法。本书官网免费提供了全套的在线教学资源,包括讲义PPT、习题、源代码、软件、数据集、上机实验指南等。

作者简介

《Spark编程基础(Python版)》由林子雨、郑海山、赖永炫执笔,其中,林子雨负责教材规划、统稿、校对和在线资源创作,并撰写第1、2、3、4、5、6章的内容,郑海山负责第7章内容的撰写,赖永炫负责撰写第8章的内容。

Scala版教程

(1)在线教程

问:在线版本的《Spark入门教程》和出版发行的纸质教材《Spark编程基础(Scala版)》二者的区别是什么?

需要注意的是,在线版本中也包含了一些纸质教材中没有的内容,因为这些操作实践的内容比较琐碎,因此,没有放入纸质教材,所以,读者阅读在线版本仍然会有新的收获。总体而言,在线版本和纸质教材二者配合使用,效果更好。

(2)授课视频(Scala版)

每个章节配套实验题目和答案

纸质教材《Spark编程基础(Python版)》的每个章节(除了第3章Spark的设计与运行原理)末尾都配套了学生上机实验题目,每套实验题目可以满足1次上机实验室(比如连续4节课机房统一上机实验课)的要求,旨在帮助学生更好消化理解课堂内容。下面是7个实验一览表。

本案例涉及数据预处理、消息队列发送和接收消息、数据实时处理、数据实时推送和实时展示等数据处理全流程所涉及的各种典型操作,涵盖Linux、Spark、Kafka、Flask、Flask-SocketIO、Highcharts.js、sockert.io.js、PyCharm等系统和软件的安装和使用方法。案例适合高校(高职)大数据教学,可以作为学生学习大数据课程后的综合实践案例。通过本案例,将有助于学生综合运用大数据课程知识以及各种工具软件,实现数据全流程操作。各个高校可以根据自己教学实际需求,对本案例进行补充完善。

本案例涉及数据预处理、存储、查询和可视化分析等数据处理全流程所涉及的各种典型操作,涵盖Linux、MySQL、Hadoop、Hive、Sqoop、Eclipse、ECharts、Spark等系统和软件的安装和使用方法。案例适合高校(高职)大数据教学,可以作为学生学习大数据课程后的综合实践案例。通过本案例,将有助于学生综合运用大数据课程知识以及各种工具软件,实现数据全流程操作。各个高校可以根据自己教学实际需求,对本案例进行补充完善。

本案例将实现一个系列程序,从厦门小鱼网爬取租房租金信息,然后利用spark的python版本进行简单分析,并利用echarts的python版本展示分析结果,此外还会简单介绍pycharm的工程建立,所以本篇将分为四个部分。

本案例采用TMDB数据集,并使用Python语言编写Spark应用程序对电影数据进行各种分析。

本实验采用Python语言,使用大数据处理框架Spark对数据进行处理分析,并对分析结果进行可视化。

本案例以2020年美国新冠肺炎疫情数据作为数据集,以Python为编程语言,使用Spark对数据进行分析,并对分析结果进行可视化。

本案例数据集是来自Kaggle的一个跨国在线零售业务的交易数据,采用Python为编程语言,采用Hadoop存储数据,采用Spark对数据进行处理分析,并使用Echarts做数据可视化。

本案例针对全球重大地震数据进行分析,采用Python为编程语言,采用Hadoop存储数据,采用Spark对数据进行处理分析,并对结果进行数据可视化。

本案例以和鲸社区的信用卡评分模型构建数据为数据集,以Python为编程语言,使用大数据框架Spark对数据进行处理分析,并对分析结果进行可视化。

先修课程(建议学习,不是必须)

大数据课程公共服务平台

教材勘误

在教材使用过程中,如发现任何错误,欢迎联系教材作者林子雨:ziyulin@xmu.edu.cn。在此向读者表示衷心的感谢!

大事记

*2019年1月,由林子雨、郑海山、赖永炫编著的《Spark编程基础(Python版)》纸质教材书稿完成撰写,提交给人民邮电出版社出版。

*2019年11月,人民邮电出版社返回教材清样,作者进行最后校对交付给出版社,等待教材最后出版。

THE END
1.WelcometoPython.orgHelp the Python Software Foundation power Python by joining in our year end fundraiser: Donate or become a PSF Member today!SUPPORT THE PSF Get Started Whether you're new to programming or an experienced developer, it's easy to learn and use Python. https://www.python.org/shell/
2.Python在线编程main.py ?x 1 ?https://www.sciclass.cn/python
3.Python在线编译器轻量且功能强大的PythonIDE支持Python工程开发,编码、编译及运行您的Python项目;支持客户端 & Cloud IDE 两种模式,打开即用; 您的项目能实时存储在云端;可以与朋友协作开发或分享项目。 下载客户端 自动配置Python 开发环境 无需下载Python开发环境,可直接在线编写代码 内置多种Python版本,满足不同项目的需要 http://ide.kouda.cc/
4.Python在线编辑器xxxxxxxxxx 7 1 importturtle 2 t=turtle.Turtle() 3 t.shape('turtle') 4 t.forward(100) 5 6 print("欢迎,编程大师!") 7 ?x >>CommandLine(SatDec14202410:46:06GMT+0800(ChinaStandardTime) >>> ?https://gotomake.scratch3.fun/python/
5.Python的在线教育学习平台该Python的在线教育学习平台基于B/S架构,后端采用Django框架,前端采用Bootstrap等技术,并结合MySQL数据库。该系统分为系统管理员、前台用户两种角色: 前台用户角色的功能: 1)登录和注册 2)浏览机构信息 3)浏览信息 4)学习 5)收藏/取消收藏 系统管理员角色的功能: https://blog.csdn.net/2301_78251288/article/details/144325375
6.python在线运行编程工具模板源码[网页版]网页版Python在线运行编程工具模板, 使用 Javascript 模拟的,有可能和 CPython 有区别,但足够用了! 左边写代码,右边实时显示运行效果,可保存、下载代码。 模板功能: 适用于 Python 教学 编辑Python 代码,并输出结果(支持 Turtle 海龟图) 支持清晰地截图代码及结果 支持保存代码和下载代码(.py文件需选择保留) 静态页https://weibo.com/ttarticle/p/show?id=2309404675701126332575
7.编程猫海龟编辑器海龟编辑器是编程猫自主研发的图形化Python编辑器,可以搭积木,学Python。https://wood.codemao.cn/
8.Python中文网官网Python是一种编程语言,可以让你快速工作 并更有效地集成系统. 了解更多 开始使用 无论您是编程新手还是经验丰富的开发人员,都可以轻松学习和使用 Python. 从我们的初学者指南开始 下载 Python 源代码和安装程序可供所有版本下载! 最新: Python 3.13.0 文档 Python 标准库的文档以及教程和指南可在线获取. docs.https://python.p2hp.com/
9.html在线手册javascript在线手册jquery在线手册脚本之家在线手册栏目为大家提供专业的计算机在线帮助指南,包括各种在线开发手册,BSD手册,Linux手册,数据库手册,编程开发手册,WEB开发手册,php手册指南,jquery在线手册,css指南,mysql帮助指南等http://shouce.jb51.net/
10.python网页在线编程并运行python网页运行python网页在线编程并运行 python 网页运行 Python学习(四) ———自动化启动运行第一个网页 web自动化环境搭建(python+selenium+webdriver) 一、 准备 浏览器:Chrome 系统环境:Win10 编译工具:Pycharm 自动化工具为:selenium+webdriver 1.1安装pip工具 1.打开cmd,输入:pip,出现如下图界面,说明pip环境OK.https://blog.51cto.com/u_16213711/8214652
11.亲测能用python3.5pythonv3.5.2官方安全版Python也提供了完整的文档,这些文档被集成到语言和独立的网页中。在线教程是针对有经验的程序员和新手的。所有这些都是为了让你能够快速生产。一流书籍的供应完善了学习包。 python3.5中文版功能 1、黑客编程:Python有一个内置函数库,您熟悉或不熟悉,但缺乏成就感。 2、网络编程:提供丰富的模块支持套接字编程,可以https://www.yutu.cn/softhtml/showsoft_6867.html
12.Python教程[完整版].pdfPython教程[完整版].pdf 关闭预览 想预览更多内容,点击免费在线预览全文 免费在线预览全文 加QQ605755793获取更多学习资料。 ☆☆☆ -- /liaoxuefeng☆☆☆ 所有版权属于原作者 廖雪峰 ☆☆☆喜欢的请支持/☆☆☆ ☆☆☆赞助/webpage/donate☆☆☆ Python 教程 这是小白的Python 新手教程。 Python 是一种计算机https://m.book118.com/html/2018/0329/159236339.shtm
13.Python编程快速上手——让繁琐工作自动化在程序写好后,很容易将它在线共享给整个世界。尽管在编程时你会犯错,这项活动仍然很有乐趣。 本书简介 本书的第一部分介绍了基本Python编程概念,第二部分介绍了一些不同的任务,你可以让计算机自动完成它们。第二部分的每一章都有一些项目程序,供你学习。下面简单介绍一下每章的内容。https://labs.epubit.com/bookDetails?id=N29437
14.慧编程在线Python编程慧编程在线Python编辑器 0基础学编程 支持机器人编程与人工智能教学https://python.makeblock.com/
15.在线编程Python123文本输出环境支持 math, random, re, datetime, csv 等大多数 Python 标准库,可通过用户反馈告诉我们您需要的模块 文本输出环境用户代码执行限制通常为 1秒 和 256 MiB 内存以内, 会根据服务器负载动态调整 快捷键: 补全代码: Alt + Enter 运行代码 Ctrl + Enter运行https://www.python123.io/index/playground/python?ivk_sa=1025922p
16.哈希编程PythonTip学编程什么是 Python Python 是一种流行的、易学的、非常强大的编程语言,常用于 web 开发、数据科学、机器学习。 Python 小白数据分析 为什么是 Python Python 在数据科学中广泛使用,它有一套强大的工具探索及可视化数据。 Python 小白数据结构 成为Python 高手 http://www.pythontip.com/coding/run
17.Python编程:从入门到实践(第3版)图书介绍 在线阅读 评论57 勘误 简介 本书是享誉全球的Python入门书,影响了超过250万读者。全书分两部分:第一部分介绍用Python编程所必须了解的基本概念,包括强大的Python库和工具,以及列表、字典、if语句、类、文件和异常、代码测试等内容;第二部分将理论付诸实践,讲解如何开发三个项目,包括简单的2D游戏、利用数据生https://www.ituring.com.cn/book/3038
18.Anycodes在线编程Anycodes在线编程支持包括C语言、C++、Java、Python、Golang、Matlab等在内的近30余种编程语言的在线编写与运行 网页版、手机客户端、快应用、小程序;编程学习、代码练习;Anycodes可以充分利用学习者的零散时间进行综合能力的提升 源于社区,回馈社会;将小众平台打造成大众品牌,项目团队来自国防科大、浙江大学等高效以及腾讯https://www.anycodes.cn/
19.STEM86在线编程环境免除繁琐安装配置自带图形化Python编程,方便初学者使用。https://python.stem86.com/
20.软件下载青少儿编程编程软件ScratchPythonIDLEScratch3 编程工具 Scratch3 在线版 Scratch3 离线版 Windows版 Mac版 Scratch3 Linux版 Scratch3使用说明 使用电脑操作 Scratch3是麻省理工推出的最新编程启蒙平台。官方目前只推荐在电脑上使用。 1 2 选择版本 Scratch3有两个版本:在线版和离线版。在线版在国内的连接速度不稳定,但无需安装,可直接使用浏览器运行https://qbitschool.cn/download
21.Python学习网Python编程语言学习、交流、培训平台,包含最新Python3基础教程、视频教程、技术动态及下载资源推荐等,欢迎自学!https://www.py.cn/
22.在线工具Python工坊 一站式云端Python IDE环境,支持项目开发全流程,包括在线代码编程、运行、调试、可视化结果输出、版本管理等,提供代码自动补全、可视化依赖包管理、在线运行环境管理等。 NB_PYTHON3_6PY_PYTHON3_6Python编程Notebook编程 PythonPython 编程 点击创建 https://www.openinnolab.org.cn/pjlab/projects/channel
23.免费python在线观看源码,助您快速掌握Python星云销下载免费版 大小:64.4M 语言:简体中文 类型:办公学习 等级: 立即下载 查看详情 在当今数字时代,编程语言的学习愈发重要,而Python作为一种简单易学、功能强大的语言,备受欢迎。如果您希望快速掌握Python,获取相关的在线资源和源码是一个非常有效的方法。免费Python在线观看源码,助您快速掌握Python,无论您是初学https://www.97507.net/news/30660.html
24.pythontippython在线编程,编程学习python在线编程,编程学习 标签:在线学习 爱站权重:PC移动 链接直达手机查看 本站是一个关于python的学习网站,包括Python题库,Python面试,Python电子书、Python在线编程、Python问答、挑战Python、 代码分享等内容 数据统计 PythonTip 网址预览 数据评估 相关导航https://www.hackjie.com/sites/1314.html
25.推荐5个边玩python边学习的网站!腾讯云开发者社区https://codingbat.com/python 一个英文的在线编程站点,也都是一些基础的语法和练习,可以选择 Java 和 Python,短时间内就可以做很多的挑战。 如果遇到了困难,点“solution”就会有参考提示。 3、Coding Bat CodeCombat 是一款网页编程游戏。当你打开 CodeCombat 网站,外观看起来就像是一个魔兽争霸风格的线上游戏,而且https://cloud.tencent.com/developer/news/665212