子雨大数据之Spark入门教程（Scala版）

Spark支持使用Scala、Java、Python和R语言进行编程。由于Spark采用Scala语言进行开发，因此，建议采用Scala语言进行Spark应用程序的编写。Scala是一门现代的多范式编程语言，平滑地集成了面向对象和函数式语言的特性，旨在以简练、优雅的方式来表达常用编程模式。Scala语言的名称来自于“可伸展的语言”，从写个小脚本到建立个大系统的编程任务均可胜任。Scala运行于Java平台（JVM，Java虚拟机）上，并兼容现有的Java程序。

但是，Scala编程语言的学习曲线相对比较陡峭，尤其是，目前很多高校教学大多采用Java等面向对象语言，而Scala则融入了许多函数式编程思维，面向对象编程和函数式编程，是两种截然不同的编程风格，因此，给教师和学生学习Scala语言造成了很大的障碍。

开发Spark应用程序时，可以采用Scala、Python、Java和R等语言，首选语言是Scala，因为Spark这个软件本身就是使用Scala语言开发的，采用Scala语言编写Spark应用程序，可以获得最好的性能。关于采用哪种语言编写Spark应用程序，这里强调两点：（1）Java代码太繁琐。在大数据应用场景中，不太适合使用Java，因为，完成同样的任务，Scala只需要一行代码，而Java则可能需要10行代码；而且，Scala语言可以支持交互式编程，大大提高了程序开发效率，而Java则不支持交互式执行，必须编译以后运行。（2）Python语言并发性能不好。在并发性能方面，Scala要明显优于Python，而且，Scala是静态类型，可以在编译阶段就抛出错误，便于开发大型大数据项目，此外，Scala兼容Java，运行在JVM上，可以直接使用Java中的HadoopAPI来和Hadoop进行交互，但是，Python与Hadoop之间的交互非常糟糕，通常都需要第三方库（比如hadoopy）。

Spark有不同的版本，而且版本一直在升级，我们只要学习其中一个版本即可。截至2017年3月，Spark已经更新到2.0以上版本。下面的第二部分是Spark速成（Spark2.1.0版本），第三部分是Spark速成（Spark1.6.2版本），读者可以选择其中一个版本学习，建议学习最新2.1.0版本。