大数据处理软件有哪些

在表1-2中，三代技术中不同的处理阶段所涉及的工具存在重叠。此外，对于混合计算技术，其本身同时涉及批处理技术和实时处理技术，实现混合计算模型的技术也要比单纯的批处理技术和实时处理技术更加复杂；鉴于混合计算技术的上述特点，这里不对在数据的获取、存储与分析方面所涉及的具体工具做特别的划分。

1.HDFSHadoop分布式文件系统（HadoopDistributedFileSystem，HDFS）目前是ApacheHadoop项目的一个子项目，与已有的分布式文件系统有很多相似之处。

2.SqoopSqoop是一个在Hadoop和关系数据库服务器之间传送数据的工具，方便大量数据的导入导出工作，其支持多种类型的数据存储软件。

Sqoop的核心功能为数据的导入和导出。

Sqoop的一个显著特点是可以使用MapReduce将数据从传统的关系数据库导入到HDFS中。Sqoop作为一个通用性的工具，只需要在一个节点上安装，因此安装和使用十分便捷。

3.FlumeFlume是由Hadoop生态系统中知名的软件公司Cloudera于2011年发布，该软件能够支持分布式海量日志的采集、集成与传输，以实时的方式从数据发送方获取数据，并传输给数据接收方。

Flume具有两个显著的特点：可靠性和可扩展性。

Flume以Agent的方式运行，单个Agent包含Source、Channel和Sink三个组件，由Agent对数据进行收集，然后交付给存储机制。从多个数据源收集到的日志信息依次经过上述三个组件，然后存入HDFS或HBase中。因此，通过Flume可以将数据便捷地转交给Hadoop体系结构。

4.ScribeScribe是由Facebook开发的分布式日志系统，在Facebook内部已经得到了广泛的应用。Scribe能够针对位于不同数据源的日志信息进行收集，然后存储至某个统一的存储系统，这个存储系统可以是网络文件系统（NetworkFileSystem，NFS），也可以是分布式文件系统。

Scribe的体系结构由三部分组成：ScribeAgent、Scribe和Storage。

5.HBaseHBase的全称为HadoopDatabase，是基于谷歌BigTable的开源实现，其使用Hadoop体系结构中的HDFS作为基本的文件系统。谷歌根据BigTable的理念设计实现了谷歌文件系统GFS，但是该方案未开源。HBase可以称为BigTable的山寨版，是开源的。

HBase在Hadoop体系结构中的位置介于HDFS和MapReduce之间，其架构为主/从形式，内部的两个核心构件为Master和RegionServer。HBase是建立在HDFS之上的分布式面向列的数据库，能够针对海量结构化数据实现随机的实时访问，其设计理念和运行模式都充分利用了HDFS的高容错性。由于HBase是面向列的，因此它在数据库的表中是按照行进行排序的。在HBase中，所有的存储内容都是字节，任何要存储的内容都需要先转换成字节流的形式，此外数据库的行键值按照字节进行排序，同时形成了索引。

6.MapReduceMapReduce是Hadoop体系结构中极为重要的核心构件之一。作为一个分布式的并行计算模型，MapReduce包含的两个单词分别具有特定的含义：“Map”表示“映射”；“Reduce”表示“归约”。上述两个概念的基本理念源于函数式编程语言（functionalprogramminglanguage）。

7.HiveHive针对数据仓库来提供类似SQL语句的查询功能，其能够将以结构化形式存储的数据映射成数据库表，主要应用场景为多维度数据分析和海量结构化数据离线分析。Hive的体系结构主要包含用户接口、元数据存储、解释器、编译器、优化器和执行器。

虽然使用MapReduce也能够实现查询，但是对于逻辑复杂度高的查询，用户在实现时难度较大。Hive提供类似于SQL的语法接口，降低了学习成本，提高了开发效率。Hive基于SQL的语法来定义名为HiveQL或HQL的查询语言，其支持常规的索引化和基本的数据查询，更重要的是能够将基于SQL的查询需求转化为MapReduce的作业例程。除了自身具有的功能之外，用户可以在Hive中编写自定义函数，具体来说分为三种：