驯象人2、Oozie简介一个基于工作流引擎的开源框架，由Cloudera公司贡献给Apache，提供对HadoopMapreduce、PigJobs的任务调度与协调。Oozie需要部署到JavaServlet容器中运行。3、Oozie在集群中扮演的角色定时调度任务，多任务可以按照执行的逻辑顺序调度。4、Oozie的功能模块4.1、Workflow顺序执行流程节点，支持fork（分支多个节点），join（合并多个节点为一个）4.2、Coordinator定时触发workflow4.3、BundleJob绑定多个Coordinator5、Oozie的节点5.1、控制流节点（ControlFlowNodes）控制流节点一般都是定义在工作流开始或者结束的位置，比如start,end,kill等。以及提供工作流的执行路径机制，如decision,fork,join等。5.2、动作节点（ActionNodes）就是执行具体任务动作的节点。
6.1上传（oozie-4.0.0-cdh5.3.6.tar.gz）并解压（tar-zxvfoozie-4.0.0-cdh5.3.6.tar.gz-C/opt/module/）
6.2上传ext-2.2.zip（可视化之类的工具）（不用解压）
6.3修改Hadoop配置文件修改(cd/opt/module/hadoop-2.5.0-cdh5.3.6/etc/hadoop)，完成后scp到其他机器节点
6.3.1修改core-site.xml（vimcore-site.xml），在最后添加
6.3.2配置JobHistoryServer服务（必须，如果原来已经不用配置，检查是否配置）
6.3.2.1修改mapred-site.xml（vimmapred-site.xml），在最后添加
6.3.2.2修改yarn-site.xml（vimyarn-site.xml）（已经修改过），在最后添加
6.4开启Hadoop集群
$sh~/start-cluster.sh（启动脚本）*尖叫提示：需要配合开启JobHistoryServer（启动命令：mr-jobhistory-daemon.shstarthistoryserver）
6.5最好执行一个MR任务进行测试（在hadoop202中执行此命令（mapreduce机器））。
6.7解压oozie目录下的hadooplibs到oozie所在的目录（解压成功后文件夹会生成在oozie目录下hadooplibs/）
tar-zxvf/opt/module/oozie-4.0.0-cdh5.3.6/oozie-hadooplibs-4.0.0-cdh5.3.6.tar.gz-C/opt/module/6.8在oozie目录下创建创建libext文件夹（mkdirlibext/）
6.9拷贝一些依赖的Jar包到libext目录下
6.9.1进入到hadooplibs下的hadooplib-2.5.0-cdh5.3.6.oozie-4.0.0-cdh5.3.6目录
cd/opt/module/oozie-4.0.0-cdh5.3.6/hadooplibs/hadooplib-2.5.0-cdh5.3.6.oozie-4.0.0-cdh5.3.66.9.2拷贝当前文件夹所有到libext目录下
cp*/opt/module/oozie-4.0.0-cdh5.3.6/libext/6.9.3拷贝Mysql驱动包到libext目录下
cd/opt/software/mysql-connector-java-5.1.276.9.4拷贝驱动包
cp-amysql-connector-java-5.1.27-bin.jar/opt/module/oozie-4.0.0-cdh5.3.6/libext/6.10将ext-2.2.zip拷贝到libext/目录下
cp-a/opt/software/ext-2.2.zip/opt/module/oozie-4.0.0-cdh5.3.6/libext/6.11修改Oozie配置文件
6.11.1进入oozie的conf目录下（cd/opt/module/oozie-4.0.0-cdh5.3.6/conf/）
6.11.2修改（vimoozie-site.xml）
6.12在Mysql中创建Oozie的数据库
6.12.1进入数据库(mysql-uroot-p123456)
6.12.2创建数据库(mysql>createdatabaseoozie;)
6.13初始化Oozie的配置
6.13.1上传Oozie目录下的yarn.tar.gz文件到HDFS（尖叫提示：yarn.tar.gz文件会自行解压）
6.13.2创建oozie.sql文件
bin/oozie-setup.shdbcreate-run-sqlfileoozie.sql6.13.3打包项目，生成war包（Oozie停止状态）
bin/oozie-setup.shprepare-war6.14启动Oozie服务
6.15访问Oozie的Web页面
1.进入（cd/opt/module/oozie-4.0.0-cdh5.3.6/）
2.解压官方案例模板
tar-zxvfoozie-examples.tar.gz3.创建oozie-apps文件夹（mkdiroozie-apps）
4.拷贝文件到文件夹下
cp-rexamples/apps/shell/oozie-apps/5.进入文件夹（cdoozie-apps/shell/）
6.随便编写一个脚本p1.sh（vip1.sh），添加如下测试内容
#!/bin/bash/usr/sbin/ifconfig>/tmp/p1.log7.编辑job.properties（vimjob.properties）修改如下内容
8.修改workflow.xml（vimworkflow.xml）
9.上传任务配置
/opt/module/hadoop-2.5.0-cdh5.3.6/bin/hdfsdfs-put/opt/module/oozie-4.0.0-cdh5.3.6/oozie-apps/user/jokerq10.执行任务
在mapreduce的8088可以查看
11.想要杀死某个任务
1.解压官方案例模板，创建文件夹等操作（上面已经执行）
2.进入（cd/opt/module/oozie-4.0.0-cdh5.3.6/oozie-apps/shell）
3.创建测试脚本p1.sh(vimp1.sh)，添加如下
#!/bin/bash/usr/bin/date>/tmp/p1.log4.创建测试脚本p2.sh(vimp2.sh)，添加如下
#!/bin/bash/usr/bin/date>/tmp/p2.log5.编辑job.properties
6.编辑workflow.xml（添加一个action，一个action对应一个脚本）
7.上传
（先删除上个案例留下的）/opt/module/hadoop-2.5.0-cdh5.3.6/bin/hdfsdfs-rmr/user/jokerq/oozie-apps/opt/module/hadoop-2.5.0-cdh5.3.6/bin/hdfsdfs-put/opt/module/oozie-4.0.0-cdh5.3.6/oozie-apps/user/jokerq8.执行
1.先编写一个可以运行的MR任务的.jar包（此处拷贝mapredurce的例子jar包）
cp-a/opt/module/hadoop-2.5.0-cdh5.3.6/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.5.0-cdh5.3.6.jar/opt/module/oozie-4.0.0-cdh5.3.6/2.进入oozie目录(cd/opt/module/oozie-4.0.0-cdh5.3.6/)
3.拷贝官方模板到oozie-apps
cp-r/opt/module/oozie-4.0.0-cdh5.3.6/examples/apps/map-reduce//opt/module/oozie-4.0.0-cdh5.3.6/oozie-apps/4.测试一下wordcount在yarn中的运行
/opt/module/hadoop-2.5.0-cdh5.3.6/bin/yarnjarhadoop-mapreduce-examples-2.5.0-cdh5.3.6.jarwordcount/input//ouput111/5.配置job.properties(cdoozie-apps/map-reduce/--->>>vimjob.properties)
6.配置workflow.xml(vimworkflow.xml)
cp-a/opt/module/oozie-4.0.0-cdh5.3.6/hadoop-mapreduce-examples-2.5.0-cdh5.3.6.jar./lib8.上传配置好的app文件夹到HDFS
/opt/module/hadoop-2.5.0-cdh5.3.6/bin/hdfsdfs-put/opt/module/oozie-4.0.0-cdh5.3.6/oozie-apps/map-reduce//user/jokerq/oozie-apps9.执行任务
2.改oozie-default.xml文件(cd/opt/module/oozie-4.0.0-cdh5.3.6/conf--->>>vimoozie-default.xml),修改oozie的时区为GMT+0800：
4.重启oozie服务，并重启浏览器（一定要注意清除缓存）
cd/opt/module/oozie-4.0.0-cdh5.3.6/$bin/oozied.shstop$bin/oozied.shstart5.拷贝官方模板配置定时任务
cp-r/opt/module/oozie-4.0.0-cdh5.3.6/examples/apps/cron//opt/module/oozie-4.0.0-cdh5.3.6/oozie-apps/6.进入目录
cd/opt/module/oozie-4.0.0-cdh5.3.6/oozie-apps/cron7.修改job.properties
8.修改coordinator.xml
9.修改workflow.xml
小问题总结：1、Mysql权限配置2、workflow.xml配置的时候不要忽略file属性3、jps查看进程时，注意有没有bootstrap4、关闭oozie**bin/oozied.shstop）如果无法关闭，则可以使用kill**kill-911111oozie-server/temp/xxx.pid文件一定要删除5、Oozie重新打包时，一定要注意先关闭进程，删除对应文件夹下面的pid文件。（可以参考第4条目）6、配置文件一定要生效**起始标签和结束标签无对应则不生效**配置文件的属性写错了，那么则执行默认的属性。7、libext下边的jar存放于某个文件夹中，导致share/lib创建不成功8、-rmrshare/lib这样是不行的。rm-rmr/user/admin这样删除是错误的。9、调度任务时，找不到指定的脚本，可能是oozie-site.xml里面的Hadoop配置文件没有关联上10、修改Hadoop配置文件，需要重启集群。一定要记得scp到其他节点11、JobHistoryServer必须开启，集群要重启的。12、Mysql配置如果没有生效的话，默认使用derby数据库13、在本地修改完成的job配置，必须重新上传到HDFS14、将HDFS上面的配置文件，下载下来查看是否有错误。15、Linux用户名和Hadoop的用户名不一致。