利用Hadoop搭建真分布式平台详细过程chameleon110

vi/etc/sysconfig/network-script/ifcfg-eth0

进入编辑模式

按i键进行编辑

修改

DEVICE=eth0#物理设备名IPADDR=192.168.1.10#IP地址NETMASK=255.255.255.0#掩码值NETWORK=192.168.1.0#网络地址(可不要)BROADCAST=192.168.1.255#广播地址(可不要)GATEWAY=192.168.1.1#网关地址ONBOOT=yes#[yes|no](引导时是否激活设备)USERCTL=no#[yes|no](非root用户是否可以控制该设备)BOOTPROTO=static#[none|static|bootp|dhcp](引导时不使用协议|静态分配|BOOTP协议|DHCP协议)

然后修改DNS配置文件

vi/etc/resolv.conf

nameserver202.109.14.5#主DNS

nameserver219.141.136.10#次DNS

searchlocaldomain

所以网络配置完成后,都需要重启网络服务:servicenetworkrestart或/etc/init.d/networkrestart

问题:设置静态IP后,重启或重启路由,IP会发生变化

解决办法:

在安装完毕后,尝试设置静态IP地址,发现在network下面修改完毕之后,其netmask与gateway始终相同,导致网络链接不上(右上角到链接符号显示disconnected)。然后上网搜索了一下,发现这个现象在F9就已经存在,一直还没有修复。于是尝试几种解决方案,发现这个比较简单可行,特此如下显示。step1:

step2:

修改配置文件如下:

step3:

step4:上网,呵呵

作者:北南南北来自:LinuxSir.Org摘要:本文是关于Linux操作系统主机名(hostname)的文档,对主要配置文件/etc/hosts进行简要的说明;另外对基配具工具hostname也进行了举例说明;欢迎高手斧正,谢谢;

++++++++++++++++++++++++++++++++++++++++正文++++++++++++++++++++++++++++++++++++++++

1、什么是主机名;

无论在局域网还是INTERNET上,每台主机都有一个IP地址,是为了区分此台主机和彼台主机,也就是说IP地址就是主机的门牌号。但IP地址不方便记忆,所以又有了域名。域名只是在公网(INtERNET)中存在(以实验为目的的局域网域网实验性除外),每个域名都对应一个IP地址,但一个IP地址可有对应多个域名。域名类型linuxsir.org这样的;

主机名是用于什么的呢?在一个局域网中,每台机器都有一个主机名,用于主机与主机之间的便于区分,就可以为每台机器设置主机名,以便于以容易记忆的方法来相互访问。比如我们在局域网中可以为根据每台机器的功用来为其命名。

2.主机名配置文件;

主机名的配置文件大多是/etc/hosts;

hosts-Thestatictablelookupforhostname(主机名查询静态表);

2.1主机名配置文件/etc/hosts解说;

Fedora/Redhat或以Fedora/Redhat为基础打包的发行版,主机名配置文件是/etc/hostsDebian或以Debian为基础打包的发行版,主机名配置文件是/etc/hostname和/etc/hostsSlackware的主机名配置文件是/etc/hosts

那我们来读读/etc/hosts的内容,看这个文件是用来做什么的。hosts配置文件是用来把主机名字映射到IP地址的方法,这种方法比较简单。但这种映射只是本地机的映射,也就是说每台机器都是独立的,所有的计算机都不能相互通过hostname来访问。

注:在debian中还有一个/etc/hostname的文件,这个文件就是直接把本地主机名写进去就行了,但要和/etc/hosts中的本地主机名保持一致。

/etc/hosts的内容一般有如下类似内容:

注:

一般情况下hosts的内容关于主机名(hostname)的定义,每行为一个主机,每行由三部份组成,每个部份由空格隔开。其中#号开头的行做说明,不被系统解释。

第一部份:网络IP地址;第二部份:主机名.域名,注意主机名和域名之间有个半角的点,比如localhost.localdomain第二部份:主机名(主机名别名),其实就是主机名;

当然每行也可以是两部份,就是主机IP地址和主机名;比如192.168.1.195debian

127.0.0.1是回环地址,比如我们不想让局域网的其它机器看到我们测试的网络程序,就可以用回环地址来测试。

为什么需要定义域名呢?其实理解也简单,比如我们有三台主机,每台做不同的事,一台做MAIL服务器,一台做FTP服务器,一台做SMB服务器,所以我们就可以这样来设计hostname;

把这上面这个配置文件的内容分别写入每台机器的/etc/hosts内容中,这样这三台局域网的机器就可以通过hostname来访问了。

2.2主机名(hostname)和域名(Domain)的区别;

主机名就机器本身的名字,域名是用来解析到IP的。但值得一说的是在局域网中,主机名也是可以解析到IP上的;比如我们前面所说举的例子;

2.3局域网的机器,不能通过主机名互访的原因;

有的弟兄可能会说,我的hostname彼此不能互访,其实这也问题也简单,我们前面已经提到了一个简单的解决办法。就是要让局域网中的所有主机都有一个通用的,并且包含所有主机的/etc/hosts文件;

另一个是做解决办法是做局域网DNS服务器,如果您的主机特别少,就用前面所说的简单方法就行;如何做DNS服务器,我将在以后的文档中专题介绍;不过我值得一提的是做任何服务器都是以效率优先的原则为基础。比如我们在局域网中两台机器,我们还有必要做DNS服务器吗?无论怎么解决,最终的都是用最有效率的办法解决问题;我们不能说明DNS多高级。如果DNS是为外网服务的,那就另说了,不做也得做。对不对?

3、主机名修改工具hostname;

其实主机名的修改也有专用工具,就是hostname;我认为如果用这个工具来修改主机名,不如直接修改/etc/hosts来的方便;您可以查看hosname--help或manhostname的帮助。在这里我们只说简单的用法;

hostname工具是用来显示和设置系统主机名,看下面的洋文;hostname-showorsetthesystem’shostname

举例解说:

*显示主机名:

此主机的主机名是linuxsir01,不加参数是用来显示当前操作的主机的主机名;

*临时设置主机名:

我们可以用hostname后接主机名,这样就可以设置当前操作的主机的主机名,比如我们想把主机名设置为linuxsir02;

通过hostname工具来设置主机名只是临时的,下次重启系统时,此主机名将不会存在;所以您想修改主机名,想一直有效的,还是用前面所说修改主机名配置文件/etc/hosts;

*显示主机IP:

显示当前主机名的IP,可以用-i参数;

以下是配置SSH的无密码公钥认证的过程。首先,在homer06机器上执行命令,如代码清单1所示:

[root@master~]#ssh-keygen-trsaGeneratingpublic/privatersakeypair.Enterfileinwhichtosavethekey(/root/.ssh/id_rsa):Createddirectory'/root/.ssh'.Enterpassphrase(emptyfornopassphrase):Entersamepassphraseagain:Youridentificationhasbeensavedin/root/.ssh/id_rsa.Yourpublickeyhasbeensavedin/root/.ssh/id_rsa.pub.Thekeyfingerprintis:a8:97:55:d3:95:d6:fe:f5:08:ca:4c:6e:24:62:b4:22root@master

接下来可以做一下SSH连接测试,从master分别向master,slave1,slave2,slave3发起SSH连接请求,确保不需要输入密码就能SSH连接成功。注意第一次SSH连接时会出现如下提示信息:

Theauthenticityofhost[homer06]can'tbeestablished.Thekeyfingerprintis:74:32:91:f2:9c:dc:2e:80:48:73:d4:53:ab:e4:d3:1aAreyousureyouwanttocontinueconnecting(yes/no)

请输入yes,这样OpenSSH会把连接过来的这台主机的信息自动加到/root/.ssh/know_hosts文件中去,第二次再连接时,就不会有这样的提示信息了。

一.下载jdk5.0forlinux

到sun的主页下载jdk安装文件jdk-1_5_0_05-linux-i586.bin

二.解压安装jdk

在shell终端下进入jdk-1_5_0_05-linux-i586.bin文件所在目录,执行命令./jdk-1_5_0_05-linux-i586.bin这时会出现一段协议,连继敲回车,当询问是否同意的时候,输入yes,回车。之后会在当前目录下生成一个jdk-1.5.0_05目录,你可以将它复制到任何一个目录下。

三.需要配置的环境变量

1.PATH环境变量。作用是指定命令搜索路径,在shell下面执行命令时,它会到PATH变量所指定的路径中查找看是否能找到相应的命令程序。我们需要把jdk安装目录下的bin目录增加到现有的PATH变量中,bin目录中包含经常要用到的可执行文件如javac/java/javadoc等待,设置好PATH变量后,就可以在任何目录下执行javac/java等工具了。

2.CLASSPATH环境变量。作用是指定类搜索路径,要使用已经编写好的类,前提当然是能够找到它们了,JVM就是通过CLASSPTH来寻找类的。我们需要把jdk安装目录下的lib子目录中的dt.jar和tools.jar设置到CLASSPATH中,当然,当前目录“.”也必须加入到该变量中。

3.JAVA_HOME环境变量。它指向jdk的安装目录,Eclipse/NetBeans/Tomcat等软件就是通过搜索JAVA_HOME变量来找到并使用安装好的jdk。

四.三种配置环境变量的方法

1.修改/etc/profile文件

如果你的计算机仅仅作为开发使用时推荐使用这种方法,因为所有用户的shell都有权使用这些环境变量,可能会给系统带来安全性问题。

·用文本编辑器打开/etc/profile·在profile文件末尾加入:

JAVA_HOME=/usr/share/jdk1.5.0_05PATH=$JAVA_HOME/bin:$PATHCLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jarexportJAVA_HOMEexportPATHexportCLASSPATH

2.修改.bashrc文件这种方法更为安全,它可以把使用这些环境变量的权限控制到用户级别,如果你需要给某个用户权限使用这些环境变量,你只需要修改其个人用户主目录下的.bashrc文件就可以了。

·用文本编辑器打开用户目录下的.bashrc文件·在.bashrc文件末尾加入:setJAVA_HOME=/usr/share/jdk1.5.0_05exportJAVA_HOMEsetPATH=$JAVA_HOME/bin:$PATHexportPATHsetCLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jarexportCLASSPATH

3.直接在shell下设置变量

不赞成使用这种方法,因为换个shell,你的设置就无效了,因此这种方法仅仅是临时使用,以后要使用的时候又要重新设置,比较麻烦。

只需在shell终端执行下列命令:

exportJAVA_HOME=/usr/share/jdk1.5.0_05exportPATH=$JAVA_HOME/bin:$PATHexportCLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar

五.测试jdk

1.用文本编辑器新建一个Test.java文件,在其中输入以下代码并保存:

publicclasstest{publicstaticvoidmain(Stringargs[]){System.out.println("Anewjdktest!");}}

2.编译:在shell终端执行命令javacTest.java

3.运行:在shell终端执行命令javaTest

当shell下出现“Anewjdktest!”字样则jdk运行正常。

六.卸载jdk

fs.default.namehdfs://master:9000Thenameofthedefaultfilesystem.Eithertheliteralstring"local"orahost:portforDFS.mapred.job.trackerhdfs://master:9001ThehostandportthattheMapReducejobtrackerrunsat.If"local",thenjobsarerunin-processasasinglemapandreducetask.

dfs.name.dir/opt/hadoopfs/nameDetermineswhereonthelocalfilesystemtheDFSnamenodeshouldstorethenametable.Ifthisisacomma-delimitedlistofdirectoriesthenthenametableisreplicatedinallofthedirectories,forredundancy.dfs.data.dir/opt/hadoopfs/dataDetermineswhereonthelocalfilesystemanDFSdatanodeshouldstoreitsblocks.Ifthisisacomma-delimitedlistofdirectories,thendatawillbestoredinallnameddirectories,typicallyondifferentdevices.Directoriesthatdonotexistareignored.dfs.replication3Defaultblockreplication.Theactualnumberofreplicationscanbespecifiedwhenthefileiscreated.Thedefaultisusedifreplicationisnotspecifiedincreatetime.

[root@masterhadoop-0.18.2]#scp-r.slave1:/opt/hadoop-0.18.2[root@masterhadoop-0.18.2]#scp-r/usr/local/jdk1.6.0_01/slave1:/usr/local/jdk1.6.0_01

JAVA_HOME=/usr/local/jdk1.6.0_01PATH=$JAVA_HOME/bin:$PATHCLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jarexportJAVA_HOMEexportPATHexportCLASSPATH

[root@master~]#cd/opt/hadoop-0.18.2/bin/[root@masterbin]#./hadoopnamenode-format

[root@masterbin]#cd/opt/hadoop-0.18.2/bin/[root@masterbin]#./start-all.sh

THE END
1.网站建设全流程详解,六个基本步骤一网打尽!小程序开发本文介绍了网站建设的六个基本步骤。需要明确网站的目的和定位,确定网站的类型和功能。接着进行网站架构设计,包括页面布局、目录结构等。然后进行网页设计和内容填充,注重用户体验和页面美观度。接下来是程序开发,包括前后端开发、数据库搭建等。完成初步建设后进行测试和优化,确保网站运行稳定、速度快、兼容性好。最后进https://vvrcloud.com/post/25455.html
2.如何实现服务器自主建站?服务器自主建站是指使用自己的服务器资源,通过安装网站程序和配置相关设置,创建并管理个人或企业网站的过程。 服务器自主建站是一个涉及多个步骤和技术的过程,它允许用户在服务器上自行搭建和管理网站,以下是对服务器自主建站的详细解答: 一、服务器自主建站的基本步骤 https://shuyeidc.com/wp/15314.html
3.网络系统的总体架构mob64ca12d9b014的技术博客网络系统的总体架构实现指南 一、引言 在建立一个网络系统之前,理解其总体架构是非常重要的。这篇文章将指导你通过一系列的步骤来实现网络系统的总体架构,帮助你更好地理解每个环节的功能及其重要性。 二、实现流程概览 以下是建立网络系统总体架构的步骤: 步骤名称描述 1 确定需求 了解用户需求,确定系统功能和目标 2https://blog.51cto.com/u_16213338/12886814
4.新手必看详细搭建网站全流程教程从零开始快速入门插件服务器搜索在搭建网站之前,首先要进行详细的需求分析与规划。这一步骤至关重要,因为它决定了你的网站的整体方向和功能。 1. 确定网站目标 你需要明确网站的目标。你是要创建一个个人博客、企业官网、在线商店,还是一个社交平台?不同类型的网站有不同的功能需求和设计风格。 https://www.163.com/dy/article/JEUDQTBC055699L3.html
5.如何详细搭建一个属于自己的网站(适合小白)(超详细)下载界面安装一些运行的配置这其中如果有想要更进一步了解的可以给我私信 大概要下载10分钟左右(如果你宝塔搭建在本地就是用你本地的网络(很快),但现在是使用云服务器的流量) 今天就先分享到这里 明天给大家带来如果搭建cms(管理系统)当然如果有想学习网络安全或者你想赚钱的也可以给我发私信https://blog.csdn.net/2301_81818516/article/details/137613261
6.网络搭建的基本流程是什么黄文Rex网络搭建的基本流程通常包括以下几个步骤: 需求分析:明确网络建设的目标,了解用户需求,确定网络的服务范围和功能。 设计规划: 逻辑设计:包括网络拓扑结构的设计,如星型、环型或混合型等。 物理设计:选择合适的网络设备(如路由器、交换机)和布线方案。 硬件准备:根据设计方案采购所需的网络设备和配件。 https://www.cnblogs.com/hwrex/p/18451620
7.网站建设的7个基本流程!网站建设的7个基本流程!对于大多数企业来说,在如今互联网时代中,想要获得更好的宣传效果,就需要合理的运用各种网络营销方式来进行推广,只有这样才能扩大企业的宣传范围,从而让更多的用户了解到企业,进而获得更多的利益。 在众多的网络营销方式中,网站推广是很多企业必选的推广方式,只要企业SEO人员能够把网站优化https://baijiahao.baidu.com/s?id=1747548194266252080&wfr=spider&for=pc
8.平台战略:搭建智能平台的七个步骤最新章节特罗·奥耶佩拉著本书不仅关注技术,还将引导你通过七个步骤将你的公司业务转变为一个成功的智能平台,学会利用人工智能等新兴技术,将公司业务融入蓬勃发展的生态系统,超越行业界限。你还将了解著名商业领袖如何重塑他们的商业模式,引领他们的平台业务走向未来。 作者简介 特罗·奥耶佩拉 世界知名的技术商业领袖。他是欧洲最大的私人https://m.zhangyue.com/readbook/13149829/2
9.如何搭建VPS网络节点,详细步骤解析搭建VPS网络节点是一个涉及多个步骤和技术的过程,旨在通过虚拟化技术在物理服务器上创建可独立运行的虚拟机,以实现资源的高效利用和灵活管理,以下是一个详细的VPS网络节点搭建方法介绍: 一、选择硬件平台 1、物理服务器:确保物理服务器具有足够的计算能力、内存、存储空间和网络带宽,以满足多个虚拟机同时运行的需求。 https://www.kdun.com/ask/1255709.html
10.如何搭建全球跨境电商平台自主研发跨境电商平台的好处在于可以更好地满足企业的需求,并且可以保证平台的独立性和安全性,但是需要投入更多的资金和时间,对于小企业来说可能并不切实际。 2.推荐一个知名度比较高的服务平台点 击注册进入官 网会有专业客服联系解答 四、搭建跨境电商平台的步骤 https://blog.itpub.net/70030223/viewspace-2959869/
11.东莞全攻略,个性化网络平台构建关键步骤揭秘网站搭建随着互联网技术的飞速发展,网站已成为企业展示形象、拓展业务、提高竞争力的重要平台,东莞作为我国重要的制造业基地,众多企业纷纷投身于中,本文将为您解析东莞的几种类型,帮助您打造符合企业需求的个性化网络平台。 东莞类型概述 1、企业展示型网站 企业展示型网站主要用于展示企业的产品、服务、企业文化等,是企业在网络http://www.fengzhengtop.com/wzdj/552873.html
12.qq互联使用指南:轻松搭建高效社会化网络平台软件教程qq互联使用指南:轻松搭建高效社会化网络平台分类:软件教程 发布时间:2024-10-17 00:30:10 简介: 近年来,社交网络平台的显著发展使得信息分享和互动变得更加便捷,特别是在中国市场,QQ互联作为一种强大便捷的工具,可以帮助用户轻松搭建高效的社会化网络平台。本文将为您提供全面且专业的QQ互联使用指南,帮助您在信息时代https://www.koudaipe.com/life/110977.html
13.大学生网络调查报告充分利用网络载体,不断丰富校园文化生活大力加强各种网络教室、网络平台的建设,加大网络硬件投入和软件开发,创设各种文化空间,通过网络将丰富多彩的大学社团活动以及双学活动,团日活动展现给所有大学生,让他们感觉到校园更精彩的一面。 三、加强监督 加强网络监管力度,培养大学生的网络道德加强对大学生日常行为规范的经常化https://mip.wenshubang.com/diaochabaogao/2994062.html
14.CTPN旅游中国摄影网,摄影协会及摄影师的平台旅游中国摄影网竭诚为广大摄影师服务,提供大数据平台服务,是摄影师交流的平台,是摄影师沟通的桥梁…… 用旅游摄影的方式宣传大美新疆,让摄影成为推动旅游事业发展的重要传播手段 利用手机网络平台与电脑网络平台,是现代媒体的重要传播手段 为摄影师搭建一座沟通的桥梁 https://www.meipian.cn/2915zrf6
15.实时流媒体系统的入门教程:轻松搭建与基础应用搭建:使用上述步骤搭建流媒体系统,接入编码器提供直播服务,采用RTMP协议实现直播流的分发。 应用:集成到社交平台或网站中,支持用户实时观看直播内容,如体育赛事、音乐会和在线教育课程。 网络教育平台应用 搭建:配置流媒体服务器支持HLS,提供不同分辨率的视频流以适应不同网络环境。 https://www.imooc.com/article/355782
16.项目四:基于ONNET的智慧小区安全防护系统及其可视化选取 OneNET 物联网实验箱“核心模块”以及“Wifi 模块”、“蜂鸣器模块”、 “超声波模块”进行搭建 步骤2 修改设备程序的 OneNET 平台网络接入配置参数 修改如下几处代码,让工程具备正确的网络访问以及 OneNET 平台接入验证和适配本次实训任务所需的物模型数据属性上报、写入能力。具体代码文件在工程https://www.jianshu.com/p/da0b1a805fb5
17.什么是视频流服务器?搭建视频流服务器的五个步骤利用付费在线视频平台的附加功能、可靠性和功能 构建自己的视频流服务器并 DIY 流,从摄取到最后一英里交付 如何搭建视频流服务器? 设置您自己的视频流服务器需要大量技术知识,因此请确保您与有能力的开发人员合作。我们将把一般过程分解为 5 个步骤: 1、设置你的服务器 https://www.mfisp.com/6963.html
18.创建“五好”基层党组织措施(精选12篇)2. 创新学习载体, 搭建网络平台。 流动人员党委建立了网上电子党务平台, 将流动党委和20个党支部支委的手机号码放在河南省人力资源和社会保障厅网站“办公自动化系统”中, 利用手机短信和各支部建立互动平台, 布置指导工作, 掌握学习进度, 反馈有关信息。在中国中原人才网“流动党员之窗”这个网络平台上, 向流动党员https://www.360wenmi.com/f/fileq3iiuzu2.html
19.校园活动总结1.开辟交流新阵地。积极为师生交流阅读体会搭建平台。各校充分利用校报校刊、校园广播、校园网络、文学社团等阵地,展示读书成果,交流读书经验,宣传读书典型。 2、阅读活动推进。每年举行暑期中小学生名著阅读征文、教师读书随笔征文等活动,定期举办读书笔记展示、读书擂台赛、阅读考级等竞赛活动,推动读书活动的深入开展。里辛https://www.unjs.com/fanwenku/278156.html
20.小学学校工作计划(通用13篇)(5)打造优质课堂。安排教师在全校范围内进行示范教学,发挥示范引领作用。通过搭建平台、培训优先、注重激励等形式,重视课改标兵的培养,本学期凡教师用新教学模式在全县及校际间上示范课分别奖励500元、300元。 (6)增强教研实效性。一是各教师要制定切实可行的实验计划;二是实行40岁以下教师上实验课制度;三是安排分https://www.cnfla.com/gongzuojihua/2892224.html
21.城市综合管理服务平台建设指南(试行)政务公开?贯彻习近平总书记关于提高城市科学化、精细化、智能化管理水平的重要指示精神,落实全国住房和城乡建设工作会议部署,搭建国家、省、市三级城市综合管理服务平台,构建适应高质量发展要求的城市综合管理服务工作体系,增强城市管理统筹协调能力,提高城市精细化管理服务水平,推动实现城市治理体系和治理能力现代化。 https://www.shouxian.gov.cn/public/content/1259110499
22.手把手教你搭建一个5G专网51OpenLab5G专网搭建八步骤 没有5G核心网的5G网络是没有灵魂的。有了5G核心网,5G才能完整落地大带宽、低时延和多连接三大场景;有了5G核心网,5G才能真正跨越toC边界,走进千行万业。有人说,5G核心网才是隐藏在5G网络中的真英雄。 但是,相比4G时代,5G核心网架构发生了巨大变化,随之给网络部署、运维和商业闭环也带来了全新的https://www.51openlab.com/article/139/
23.虚拟实训范文12篇(全文)以基于PLC控制的机械手[6]虚拟实训项目为例, 介绍了“视频+虚拟仿真”模式的虚拟实训平台的构建步骤, 步骤如图1所示, 有工作视频导入、工作流程及控制要求分析、系统框架构建、组态画面编制、编制控制流程程序及通讯设置、调试及完善5个步骤。 2 机械手实训项目的构建 https://www.99xueshu.com/w/ikey1kc3h5hj.html
24.校本研修活动记录总结范文(精选22篇)我校构建的基于网络环境下的区域性教师学习与资源中心的作用,利用互联网络,提供专业服务,建立教师团队共享与合作的机制,为中小学教师网络教研搭建了学习、交流与展示的平台。区教育教学信息网站设立了教师继续教育、中小学教研、教育科研、中小学信息技术等30多个学科(或主题)网页。在中小学各学科教研网页中设立了课改直https://www.yuwenmi.com/fanwen/zongjie/3455149.html