Spark编程基础（Python版）教材官网

厦门大学林子雨，郑海山，赖永炫编著

林子雨(ziyulin@xmu.edu.cn)

披荆斩棘，在大数据丛林中开辟学习捷径

填沟削坎，为快速学习Spark技术铺平道路

深入浅出，有效降低Spark技术学习门槛

资源全面，构建全方位一站式在线服务体系

本教材已经上市销售，可以京东、当当网购

ISBN:978-7-115-52439-3定价：49.80元人民邮电出版社

2020年4月第1版

（备注：第2版教材书稿已经提交给出版社，预计2024年6月上市销售）

本页面内容导航

扫一扫访问本网页

《Spark编程基础（Python版）》

教材简介

本书以Python作为开发Spark应用程序的编程语言，系统介绍了Spark编程的基础知识。全书共8章，内容包括大数据技术概述、Spark的设计与运行原理、Spark环境搭建和使用方法、RDD编程、SparkSQL、SparkStreaming、StructuredStreaming、SparkMLlib等。本书每个章节都安排了入门级的编程实践操作，以便读者更好地学习和掌握Spark编程方法。本书官网免费提供了全套的在线教学资源，包括讲义PPT、习题、源代码、软件、数据集、上机实验指南等。

作者简介

《Spark编程基础（Python版）》由林子雨、郑海山、赖永炫执笔，其中，林子雨负责教材规划、统稿、校对和在线资源创作，并撰写第1、2、3、4、5、6章的内容，郑海山负责第7章内容的撰写，赖永炫负责撰写第8章的内容。

Scala版教程

（1）在线教程

问：在线版本的《Spark入门教程》和出版发行的纸质教材《Spark编程基础（Scala版）》二者的区别是什么？

需要注意的是，在线版本中也包含了一些纸质教材中没有的内容，因为这些操作实践的内容比较琐碎，因此，没有放入纸质教材，所以，读者阅读在线版本仍然会有新的收获。总体而言，在线版本和纸质教材二者配合使用，效果更好。

（2）授课视频（Scala版）

每个章节配套实验题目和答案

纸质教材《Spark编程基础（Python版）》的每个章节（除了第3章Spark的设计与运行原理）末尾都配套了学生上机实验题目，每套实验题目可以满足1次上机实验室（比如连续4节课机房统一上机实验课）的要求，旨在帮助学生更好消化理解课堂内容。下面是7个实验一览表。

本案例涉及数据预处理、消息队列发送和接收消息、数据实时处理、数据实时推送和实时展示等数据处理全流程所涉及的各种典型操作，涵盖Linux、Spark、Kafka、Flask、Flask-SocketIO、Highcharts.js、sockert.io.js、PyCharm等系统和软件的安装和使用方法。案例适合高校（高职）大数据教学，可以作为学生学习大数据课程后的综合实践案例。通过本案例，将有助于学生综合运用大数据课程知识以及各种工具软件，实现数据全流程操作。各个高校可以根据自己教学实际需求，对本案例进行补充完善。

本案例涉及数据预处理、存储、查询和可视化分析等数据处理全流程所涉及的各种典型操作，涵盖Linux、MySQL、Hadoop、Hive、Sqoop、Eclipse、ECharts、Spark等系统和软件的安装和使用方法。案例适合高校（高职）大数据教学，可以作为学生学习大数据课程后的综合实践案例。通过本案例，将有助于学生综合运用大数据课程知识以及各种工具软件，实现数据全流程操作。各个高校可以根据自己教学实际需求，对本案例进行补充完善。

本案例将实现一个系列程序，从厦门小鱼网爬取租房租金信息，然后利用spark的python版本进行简单分析，并利用echarts的python版本展示分析结果，此外还会简单介绍pycharm的工程建立，所以本篇将分为四个部分。

本案例采用TMDB数据集，并使用Python语言编写Spark应用程序对电影数据进行各种分析。

本实验采用Python语言，使用大数据处理框架Spark对数据进行处理分析，并对分析结果进行可视化。

本案例以2020年美国新冠肺炎疫情数据作为数据集，以Python为编程语言，使用Spark对数据进行分析，并对分析结果进行可视化。

本案例数据集是来自Kaggle的一个跨国在线零售业务的交易数据，采用Python为编程语言，采用Hadoop存储数据，采用Spark对数据进行处理分析，并使用Echarts做数据可视化。

本案例针对全球重大地震数据进行分析，采用Python为编程语言，采用Hadoop存储数据，采用Spark对数据进行处理分析，并对结果进行数据可视化。

本案例以和鲸社区的信用卡评分模型构建数据为数据集，以Python为编程语言，使用大数据框架Spark对数据进行处理分析，并对分析结果进行可视化。

先修课程(建议学习，不是必须)

大数据课程公共服务平台

教材勘误

在教材使用过程中，如发现任何错误，欢迎联系教材作者林子雨：ziyulin@xmu.edu.cn。在此向读者表示衷心的感谢！

大事记

*2019年1月，由林子雨、郑海山、赖永炫编著的《Spark编程基础（Python版）》纸质教材书稿完成撰写，提交给人民邮电出版社出版。

*2019年11月，人民邮电出版社返回教材清样，作者进行最后校对交付给出版社，等待教材最后出版。