Ubuntu16.04+hadoop2.7.3环境搭建darksaber

hadoop是使用Java开发的一个大数据平台,自然少不了Java运行环境的安装了,当然使用hadoop不一定需要java语言,hadoop的开发支持很多种语言。

hadoop需要使用SSH的方式登陆,linux下需要安装SSH。客户端已经安装好了,只需要安装服务端就可以了:

sudoapt-getinstallopenssh-server

一共有三步:

1.生成公钥私钥ssh-keygen-trsa,将在~/.ssh文件夹下生成文件id_rsa:私钥,id_rsa.pub:公钥

2.导入公钥到认证文件,更改权限:

1)导入本机:cat~/.ssh/id_rsa.pub>>~/.ssh/authorized_keys

2)导入服务器:

首先将公钥复制到服务器:

scp~/.ssh/id_rsa.pubxxx@host:/home/xxx/id_rsa.pub

然后,将公钥导入到认证文件,这一步的操作在服务器上进行:

cat~/id_rsa.pub>>~/.ssh/authorized_keys

最后在服务器上更改权限:

chmod700~/.sshchmod600~/.ssh/authorized_keys

3)测试:sshlocalhost第一次需要输入yes,之后就不需要了。

2.解压、移动到你想要放置的文件夹

tar-zvxfhadoop-2.7.3.tar.gz

mv./hadoop-2.7.3.tar.gz/opt/hadoop

3.创建hadoop用户和组,并授予执行权限

sudoaddgrouphadoop

sudousermod-a-Ghadoopxxx#将当前用户加入到hadoop组

sudogeditetc/sudoers#将hadoop组加入到sudoer

在rootALL=(ALL)ALL后hadoopALL=(ALL)ALL

sudochmod-R755/opt/hadoop

sudochown-Rxxx:hadoop/opt/hadoop//否则ssh会拒绝访问

4.修改配置文件,和JDK的安装一样,可以选择修改哪个文件。这里修改/etc/profile

exportHADOOP_HOME=/opt/hadoop2.7.3

exportPATH=.:${JAVA_HOME}/bin:${HADOOP_HOME}/bin:$PATH

source/etc/hadoop

5.测试是否配置成功

hadoopversion

6.hadoop单机配置(非分布式模式)

hadoop默认是非分布式模式,不需要进行其它配置。可以测试demo来观察是否配置正确。

cd/opt/hadoop

mkdirinput

cpREADME.txtinput

bin/hadoopjarshare/hadoop/mapreduce/sources/hadoop-mapreduce-examples-2.7.3-sources.jarorg.apache.hadoop.examples.WordCountinputoutput

7.hadoop伪分布式配置

伪分布式只需要更改两个文件就够了。配置文件都在hadoop目录下的etc/hadoop中。

首先是core-site.xml,设置临时目录位置,否则默认会在/tmp/hadoo-hadoop中,这个文件夹在重启时可能被系统清除掉,所以需要改变配置路径。

hadoop.tmp.dirfile:/opt/hadoop/tmpAbaseforothertemporarydirectories.fs.defaultFShdfs://localhost:9000然后就是hdfs-site.xml,伪分布式只有一个节点,所以必须配置成1。还配置了datanode和namenode的节点位置。

dfs.replication1dfs.namenode.name.dirfile:/opt/hadoop/tmp/dfs/namedfs.datanode.data.dirfile:/opt/hadoop/tmp/dfs/data接着执行format命令,格式化名称节点:./bin/hdfsnamenode-format

开启hdfs:./sbin/start-dfs.sh如果出现ssh认证输入yes就可以了。

输入jps命令查看是否启动成功

关闭hdfs:./sbin/stop-dfs.sh

cp./etc/hadoop/mapred-site.xml.template./etc/hadoop/mapred-site.xml

vim./etc/hadoop/mapred-site.xml

mapreduce.framework.nameyarn修改yarn的配置文件:yarn-site.xml

yarn.nodemanager.aux-servicesmapreduce_shuffle启动yarn,要先启动了hdfs:./sbin/start-yarn.sh

开启历史服务器,这样可以在web界面中查看任务运行情况:./sbin/mr-jobhistory-daemon.shstarthistoryserver

由于本机之前进行的配置,所以难免在写的时候会遗漏一些细节,如果有什么问题,请指教。

THE END
1.Lighten–Mac玩儿法Lighten is a mind mapping app for a way to clarify thinking, boost productivity, brainstorm, and visualize concepts.. It offers a perfect balance between powerful features and ease of use. Lighten is designed to be simple, but it has strong features. You can use it with iCloud to save https://www.waerfa.com/lighten?jump=1
2.LightenProforMacLightenProMac版下载V3.0LightenProMac版是Mac平台上的一款界面简洁,用户体验极佳的思维导图产品。LightenProMac版仍然保持了一个思维导图软件的核心。在美学和功能点中寻求平衡点,充满乐趣的交互,恰到好处的功能,让用户轻易上手,享受思考的乐趣;您可以免费下载。https://mac.wmzhe.com/software/12749.html
3.LightenPDFSecurityManagerLightenPDFSecurityManager1.1.0Lighten PDF Security Manager官方版是一款高效实用的PDF安全管理工具,Lighten PDF Security Manager官方版功能强劲,便捷好用,小巧专业,可以帮助用户轻松的为PDF添加打开密码或复制、打印、编辑等限制,Lighten PDF Security Manager帮您轻松提高PDF文档安全性。 https://xiazai.zol.com.cn/detail/71/702809.shtml
4.Lighten阅读伴侣电脑版v1.7.3最需网Lighten阅读伴侣电脑版是一款英语阅读学习软件,Lighten阅读伴侣囊括了小学、初中、高中、大学、商务等各类英语单词,收录了最权威的词典,可以根据每个使用的用户对单词的陌生程度,进行智能推荐单词,用来加以巩固用户的记忆,随指随翻译,读英语更智能,提高学习的效率。 https://www.zuixu.com/down/396851.html
5.LightenScreenshotEditorformac(捕获注释截图)V2.1.0苹果Lighten Screenshot Editor for mac(捕获注释截图)V2.1.0 苹果电脑版,Lighten Screenshot Editor Mac版是一款在macos系统上运行的截屏软件,这款软件支持帮助用户捕获,注释和共享屏幕截图https://www.jb51.net/softs/671567.html
6.Lighten阅读伴侣官方电脑版版本:安卓版 v1.0 软件授权:共享软件 软件大小:4.4M 软件语言:简体中文 应用平台:Android 更新时间:2022-08-31 安全无毒无插件 基本简介 Lighten阅读伴侣是专门为用户提供学习英语的阅读工具,在这里用户可以使用软件配合Lighten AI英语阅读伴侣一起使用,通过软件快速茶语单词,一键既可以显示单词的翻译结果,海量词库等你https://www.jrxwxm.com/soft/10082869.htm
7.xmind思维导图模板免费下载破解版/中文/ XMind思维导图手机版下载v1.0 最新版 中文/ xmind zen 2021是XMind产品中一个拥有高颜值款的思维导图软件,主界面功能主观明了,操作也很简单,就算是第一次接触也没关系,无需任何复杂的学习即可快速上手。感兴趣的朋友快来下载体验吧。 http://qqtn.com/down/553502.html
8.LightenPDFSecurityManager免费下载大小:2.96MB 版本:1.1.0 语言:简中 更新:2022-08-01 资源说明 Lighten PDF Security Manager是一款非常专业的PDF安全管理软件,软件的页面简约美观,非常的实用,得到了很多用户的喜爱,在使用中用户可以非常轻松的进行PDF安全的管理,使用起来是非常方便快捷的。 https://soft.3dmgame.com/down/224306.html
9.FollowMe电脑版下载FollowMe电脑版怎么玩FollowMe电脑版 0 关键词: FollowMe官网 FollowMe攻略 游戏类型: 休闲 电脑版下载(在电脑上玩FollowMe)其他版本下载(在手机上玩) 常见问题FAQ 玩家客服>For each the next sequence to be reproduced, the number of lighten button will be increased by one. Overall, player just follows the sequence https://www.9game.cn/followme2/diannaoban/
10.星野延时后期进阶之动态星轨Blending Mode = Lighten Comet Mode 可选可不选:如果想要拖尾效果就选,否则跳过 Subtract Dark Images: 如果已拍黑副就选上,没拍就不选。实践中发现影响不大。 Save after each step: 点选。这个是实现动态星轨的关键 :-) Output Folder:指定输出文件的路径 https://www.meipian.cn/2cpx7iyk
11.xmind电脑版官方下载xmind思维导图软件最新版下载常用软件xmind思维导图电脑版主要功能 大纲视图 在这里,你可以将内容自由切换成大纲视图或思维导图模式,利用它来管理列表,整理目标和任务,你会成为团队中的佼佼者。 风格编辑器 你可以根据自己的喜好调整主题的样式,把字体、线条和颜色设置成自己喜欢的样子,保存好后就可以重复使用了。 https://blog.51cto.com/u_16158261/6835392
12.pdf编辑器免费版手机免费pdf编辑器pdf编辑器Lighten PDF Converter Master(PDF转换工具) 大小: 平台:电脑 下载 推荐理由:【基本介绍】Lighten PDF Converter Master是一款相当出色的PDF转换工具。软件界面简洁,功能强大,能够将PDF转换为9种文档格式,包括Word(.docx PDFdu PDF Converter(PDF文档格式转换工具) 大小: 平台:电脑 下载 推荐理由:【基本https://www.duote.com/zt/soft9028
13.原创便携IcecreamPDFCandyDesktopv2.8.0中文绿色便携版PDF Candy 桌面是一款多功能工具,能够让您把 PDF 文件转为多种支持的格式(PDF 转 DOC、PDF 转 JPG 等)、把文档、电子书、图片转为 PDF、合成 PDF、分割 PDF、提取 PDF 中的图片和文本、编辑 PDF元数据、保护 PDF、解锁受密码保护的 PDF 文件。所有模式都支持批量处理文件。这些功能全都呈现在一个现代、友好https://zhouxiaoben.info/post-9036.html
14.XMind电脑怎么使用教程溜溜问答 > 日常办公 > XMind电脑怎么使用教程 XMind电脑怎么使用教程浏览量:374电脑XMind怎么使用教程 XMind电脑怎么使用 XMind电脑版怎么使用 电脑版本XMind怎么使用 电脑XMind8怎么使用 XMind使用教程 XMind 使用教程 XMind怎么使用 为您找到1500条“XMind电脑怎么使用教程”相关问题https://www.3d66.com/answers_relation/relation_333487_88.html
15.计算机词汇分析辅助英文阅读的设想(此时你读简爱大概只认识2424个单词,生词量是4880),可我非常想读原汁原味的英文版《Jane Eyre》,那4)此一翻译过程可以写程序在个人电脑上自动完成,因为我手上没有现成的词典文件,也没研究有什么APIsocial 1 upfront 1 steer 1 smartphone 1 majority 1 transport 1 lighten 1 cash 1 list 1 https://www.douban.com/note/635626889/
16.电脑端思维导图软件推荐做思维导图的软件电脑版简单流行的电脑端思维导图软件推荐! 今天给大家推荐几款小编都在用的流行的电脑端的思维导图软件!看看有没有你喜欢的。 亿图脑图 首先要给大家推荐的是在手机上也非常好用的亿图脑图,亿图脑图开发于2007年,短短几年的时间,就收获到了来自全球各地的用户的喜爱,成为专业思维导图的领军者。作为国产软件,无论是从用https://blog.csdn.net/Suofa/article/details/120684803
17.幼儿园中班英语说课稿Vegetable1、制作电脑多媒体课件; 四、活动流程及目标达成策略 根据中班上册幼儿学习语言和年龄的特点,结合幼儿园教学工作原则和本次活动的目标,我设计以下三个环节:词组:rang from,be committed to,lighten up,take seriously; 句型:a:A large body of research (evidence / study / facts / experience / data) showhttps://www.360wenmi.com/f/filemxhkitck.html