1.安装java虚拟机(jdk-6u31-linux-i586.bin);
2.配置环境变量
(1)vi/etc/profile(编辑文件)
(2)添加
(3)source/etc/profile(注入环境变量)
注:使用ROOT和户
vim/etc/hosts修改为:127.0.0.1qiangjin
修改为:NETWORKING=yesHOSTNAME=qiangjin
临时修改hostname,使用
hostnameqiangjin查看当前hostname,使用
hostname注:使用ROOT和户
1.在当前用户主目录下执行
(1)ssh-keygen
(2)cat.ssh/id_rsa.pub》》.ssh/authorized_keys
(3)chmod700.ssh
(4)chmod600.ssh/authorized_keys
(5)sshqiangjin成功后,应为:
1.解压hadoop-0.20.2-cdh3u3.tar.gz;
2.解压hbase-0.90.4-cdh3u3.tar.gz;
3.解压hive-0.7.1-cdh3u3.tar.gz;
4.解压zookeeper-3.3.4-cdh3u3.tar.gz;
5.解压sqoop-1.3.0-cdh3u3.tar.gz;
6.解压mahout-0.5-cdh3u3.tar.gz;(数据挖掘算法专用)
注:tar–xvfxxxx.tar.gz
(1)进入到cdh3/hadoop-0.20.2-cdh3u3/conf
(2)修改
core-site.xml
注:fs.default.name配置中用到了自己配的hostname;
(3)修改hdfs-site.xml
注:单机时,一般将dfs.replication设置为1
(4)修改
mapred-site.xml
注:mapred.job.tracker中用到了自己配的hostname;
(5)修改
Masters
(6)修改
slaves
(7)修改
hadoop-env.sh
需要添加环境变量
(1)进入cdh3/hbase-0.90.4-cdh3u3/conf
(2)修改hbase-site.xml
(3)修改
Regionserver
hbase-env.sh
(1)进入cdh3/hive-0.7.1-cdh3u3/conf
(2)添加hive-site.xml,并配置
注:需要注意hbase.zookeeper.quorum、mapred.job.tracker、hive.exec.scratchdir、javax.jdo.option.ConnectionURL、javax.jdo.option.ConnectionUserName、javax.jdo.option.ConnectionPassword处配置需要添加环境变量
(1)进入cdh3/zookeeper-3.3.4-cdh3u3
(2)新建目录zookeeper-data
(3)进入zookeeper-data,并新建myid,里面填0
(4)进入cdh3/zookeeper-3.3.4-cdh3u3/conf(5)修改
zoo.cfg
注:dataDir和server.0的配置;
(1)将mysql-connector-java-5.1.6.jar放入到cdh3/hive-0.7.1-cdh3u3/lib
(2)将ojdbc14.jar放入到cdh3/sqoop-1.3.0-cdh3u3/lib
1.hadoop的formathadoopnamenode-format
2.hadoop的启动start-all.sh
3.hadoop的停止stop-all.sh
(1)启动
hbase,命令如下:start-hbase.sh(2)停止
hbase,命令如下:stop-hbase.sh(3)进入hbase的
shell,命令如下hbaseshell
(4)查看hbase中的表,命令如下(需进入到hbaseshell中)list
(5)注:需要hadoop处于启动中。
查看hbase的运行情况十六、启动zookeeper
(1)启动zookeeper,命令如下zkServer.shstart
(2)停止zookeeper,命令如下zkServer.shstop
注:如果是单机情况下,hbase的启动会带动zookeeper的启动;
(1)启动hive,命令如下hive
(2)查看表,命令如下:(必须在hive命令窗口下执行)showtables;
(1)新建file01和file02,并设置内容;
(2)在hdfs中建立一个input目录:Hadoopfs–mkdirinput
(3)将file01和file02
拷贝到hdfs中hadoopfs-copyFromLocalfile0*input
(4)执行wordcounthadoopjarhadoop-examples-0.20.2-cdh3u3.jarwordcountinputoutput(5)查看结果hadoopfs-catoutput/part-r-00000
(1)进入cdh3/sqoop-1.3.0-cdh3u3/bin
(2)新建目录importdata
(3)进入目录importdata
(4)新建sh文件
oracle-test.sh
(5)执行。/oracle-test.sh
(6)进入hive,查看是否导入成功;
注:hive导入使用的参数。./sqoopimport--append--connect$CONNECTURL--username$ORACLENAME--password$ORACLEPASSWORD--m1--table$oracleTableName--columns$columns--hive-import
oracle-hbase.sh
(5)执行。/oracle-hbase.sh
(6)进入hbaseshell,查看是否导入成功;
注:hbase导入使用的参数。./sqoopimport--append--connect$CONNECTURL--username$ORACLENAME--password$ORACLEPASSWORD--m1--table$oracleTableName--columns$columns-hbase-create-table--hbase-table$hbaseTableName--hbase-row-keyID--column-familycf1
(1)进入cdh3/hive-0.7.1-cdh3u3/bin
(2)新建目录mapdata
(3)进入mapdata
(4)新建
hbasemaphivetest.q
(5)执行
hive-fhbasemaphivetest.q
注:列之间要对应,类型要匹配;
1、运行example
(1)导入实例所用数据“synthetic_control.data”,在控制台运行hadoopfs-putsynthetic_control.data/user/liuhx/testdata/
Hadoopjarmahout-examples-0.5-cdh3u3-job.jarorg.apache.mahout.clustering.syntheticcontrol.kmeans.Job
2、运行结果查看,输入命令
mahoutvectordump--seqFile/user/liuhx/output/data/part-m-00000
3、图形化显示,输入以下命令
hadoopjarmahout-examples-0.5-cdh3u3-job.jarorg.apache.mahout.clustering.display.DisplayKMeans
1、安装Eclipse
2、导入cdh3/hadoop-0.20.2-cdh3u3/src/contrib/eclipse-plugin工程
3、修改plugin.xml主要更改runtime中jar包的配置;
4、运行RunAs-》EclipseApplication
5、在运行得到的eclipsesdk中配置map/reducelocation在其中配置hadoop的运行环境