hadoop 2.2 centos(centos7哪个版本好)
各位老铁们，大家好，今天由我来为大家分享hadoop 2.2 centos，以及centos7哪个版本好的相关问题知识，希望对大家有所帮助。如果可以帮助到大家，还望关注收藏下本站，您的支持是我们最大的动力，谢谢大家了哈，下面我们开始吧！
如何在win7下的eclipse中调试Hadoop2.2.0的程序
在上一篇博文中，散仙已经讲了Hadoop的单机伪分布的部署，本篇，散仙就说下，如何eclipse中调试hadoop2.2.0,如果你使用的还是hadoop1.x的版本，那么，也没事，散仙在以前的博客里，也写过eclipse调试1.x的hadoop程序，两者最大的不同之处在于使用的eclipse插件不同，hadoop2.x与hadoop1.x的API，不太一致，所以插件也不一样，我们只需要使用分别对应的插件即可.
下面开始进入正题:
序号名称描述
1 eclipse Juno Service Release 4.2的本
2操作系统 Windows7
3 hadoop的eclipse插件 hadoop-eclipse-plugin-2.2.0.jar
4 hadoop的集群环境虚拟机Linux的Centos6.5单机伪分布式
5调试程序 Hellow World
遇到的几个问题如下：
Java代码
java.io.IOException:Couldnotlocateexecutablenull\bin\winutils.exeintheHadoopbinaries.
解决办法:
在org.apache.hadoop.util.Shell类的checkHadoopHome()方法的返回值里写固定的
本机hadoop的路径，散仙在这里更改如下：
Java代码
privatestaticStringcheckHadoopHome(){
//firstchecktheDflaghadoop.home.dirwithJVMscope
//System.setProperty("hadoop.home.dir","...");
Stringhome=System.getProperty("hadoop.home.dir");
//fallbacktothesystem/user-globalenvvariable
if(home==null){
home=System.getenv("HADOOP_HOME");
}
try{
//couldn'tfindeithersettingforhadoop'shomedirectory
if(home==null){
thrownewIOException("HADOOP_HOMEorhadoop.home.dirarenotset.");
}
if(home.startsWith("\"")&&home.endsWith("\"")){
home=home.substring(1,home.length()-1);
}
//checkthatthehomesettingisactuallyadirectorythatexists
Filehomedir=newFile(home);
if(!homedir.isAbsolute()||!homedir.exists()||!homedir.isDirectory()){
thrownewIOException("Hadoophomedirectory"+homedir
+"doesnotexist,isnotadirectory,orisnotanabsolutepath.");
}
home=homedir.getCanonicalPath();
}catch(IOExceptionioe){
if(LOG.isDebugEnabled()){
LOG.debug("Failedtodetectavalidhadoophomedirectory",ioe);
}
home=null;
}
//固定本机的hadoop地址
home="D:\\hadoop-2.2.0";
returnhome;
}
第二个异常，Could not locate executable D:\Hadoop\tar\hadoop-2.2.0\hadoop-2.2.0\bin\winutils.exe in the Hadoop binaries.找不到win上的执行程序，可以去下载bin包，覆盖本机的hadoop跟目录下的bin包即可
第三个异常：
Java代码
Exceptioninthread"main"java.lang.IllegalArgumentException:WrongFS:hdfs://192.168.130.54:19000/user/hmail/output/part-00000,expected:file:///
atorg.apache.hadoop.fs.FileSystem.checkPath(FileSystem.java:310)
atorg.apache.hadoop.fs.RawLocalFileSystem.pathToFile(RawLocalFileSystem.java:47)
atorg.apache.hadoop.fs.RawLocalFileSystem.getFileStatus(RawLocalFileSystem.java:357)
atorg.apache.hadoop.fs.FilterFileSystem.getFileStatus(FilterFileSystem.java:245)
atorg.apache.hadoop.fs.ChecksumFileSystem$ChecksumFSInputChecker.<init>(ChecksumFileSystem.java:125)
atorg.apache.hadoop.fs.ChecksumFileSystem.open(ChecksumFileSystem.java:283)
atorg.apache.hadoop.fs.FileSystem.open(FileSystem.java:356)
atcom.netease.hadoop.HDFSCatWithAPI.main(HDFSCatWithAPI.java:23)
出现这个异常，一般是HDFS的路径写的有问题，解决办法，拷贝集群上的core-site.xml和hdfs-site.xml文件，放在eclipse的src根目录下即可。
第四个异常：
Java代码
Exceptioninthread"main"java.lang.UnsatisfiedLinkError:org.apache.hadoop.io.nativeio.NativeIO$Windows.access0(Ljava/lang/String;I)Z
出现这个异常，一般是由于HADOOP_HOME的环境变量配置的有问题，在这里散仙特别说明一下，如果想在Win上的eclipse中成功调试Hadoop2.2，就需要在本机的环境变量上，添加如下的环境变量：
（1）在系统变量中，新建HADOOP_HOME变量，属性值为D:\hadoop-2.2.0.也就是本机对应的hadoop目录
(2)在系统变量的Path里，追加%HADOOP_HOME%/bin即可
以上的问题，是散仙在测试遇到的，经过对症下药，我们的eclipse终于可以成功的调试MR程序了，散仙这里的Hellow World源码如下：
Java代码
packagecom.qin.wordcount;
importjava.io.IOException;
importorg.apache.hadoop.fs.FileSystem;
importorg.apache.hadoop.fs.Path;
importorg.apache.hadoop.io.IntWritable;
importorg.apache.hadoop.io.LongWritable;
importorg.apache.hadoop.io.Text;
importorg.apache.hadoop.mapred.JobConf;
importorg.apache.hadoop.mapreduce.Job;
importorg.apache.hadoop.mapreduce.Mapper;
importorg.apache.hadoop.mapreduce.Reducer;
importorg.apache.hadoop.mapreduce.lib.input.FileInputFormat;
importorg.apache.hadoop.mapreduce.lib.input.TextInputFormat;
importorg.apache.hadoop.mapreduce.lib.output.FileOutputFormat;
importorg.apache.hadoop.mapreduce.lib.output.TextOutputFormat;
/***
*
*Hadoop2.2.0测试
*放WordCount的例子
*
*@authorqindongliang
*
*hadoop技术交流群：376932160
*
*
**/
publicclassMyWordCount{
/**
*Mapper
*
***/
privatestaticclassWMapperextendsMapper<LongWritable,Text,Text,IntWritable>{
privateIntWritablecount=newIntWritable(1);
privateTexttext=newText();
@Override
protectedvoidmap(LongWritablekey,Textvalue,Contextcontext)
throwsIOException,InterruptedException{
Stringvalues[]=value.toString().split("#");
//System.out.println(values[0]+"========"+values[1]);
count.set(Integer.parseInt(values[1]));
text.set(values[0]);
context.write(text,count);
}
}
/**
*Reducer
*
***/
privatestaticclassWReducerextendsReducer<Text,IntWritable,Text,Text>{
privateTextt=newText();
@Override
protectedvoidreduce(Textkey,Iterable<IntWritable>value,Contextcontext)
throwsIOException,InterruptedException{
intcount=0;
for(IntWritablei:value){
count+=i.get();
}
t.set(count+"");
context.write(key,t);
}
}
/**
*改动一
*(1)shell源码里添加checkHadoopHome的路径
*(2)974行，FileUtils里面
***/
publicstaticvoidmain(String[]args)throwsException{
//Stringpath1=System.getenv("HADOOP_HOME");
//System.out.println(path1);
//System.exit(0);
JobConfconf=newJobConf(MyWordCount.class);
//Configurationconf=newConfiguration();
//conf.set("mapred.job.tracker","192.168.75.130:9001");
//读取person中的数据字段
//conf.setJar("tt.jar");
//注意这行代码放在最前面，进行初始化，否则会报
/**Job任务**/
Jobjob=newJob(conf,"testwordcount");
job.setJarByClass(MyWordCount.class);
System.out.println("模式："+conf.get("mapred.job.tracker"));;
//job.setCombinerClass(PCombine.class);
//job.setNumReduceTasks(3);//设置为3
job.setMapperClass(WMapper.class);
job.setReducerClass(WReducer.class);
job.setInputFormatClass(TextInputFormat.class);
job.setOutputFormatClass(TextOutputFormat.class);
job.setMapOutputKeyClass(Text.class);
job.setMapOutputValueClass(IntWritable.class);
job.setOutputKeyClass(Text.class);
job.setOutputValueClass(Text.class);
Stringpath="hdfs://192.168.46.28:9000/qin/output";
FileSystemfs=FileSystem.get(conf);
Pathp=newPath(path);
if(fs.exists(p)){
fs.delete(p,true);
System.out.println("输出路径存在，已删除！");
}
FileInputFormat.setInputPaths(job,"hdfs://192.168.46.28:9000/qin/input");
FileOutputFormat.setOutputPath(job,p);
System.exit(job.waitForCompletion(true)?0:1);
}
}
控制台，打印日志如下：
Java代码
INFO-Configuration.warnOnceIfDeprecated(840)|mapred.job.trackerisdeprecated.Instead,usemapreduce.jobtracker.address
模式：local
输出路径存在，已删除！
INFO-Configuration.warnOnceIfDeprecated(840)|session.idisdeprecated.Instead,usedfs.metrics.session-id
INFO-JvmMetrics.init(76)|InitializingJVMMetricswithprocessName=JobTracker,sessionId=
WARN-JobSubmitter.copyAndConfigureFiles(149)|Hadoopcommand-lineoptionparsingnotperformed.ImplementtheToolinterfaceandexecuteyourapplicationwithToolRunnertoremedythis.
WARN-JobSubmitter.copyAndConfigureFiles(258)|Nojobjarfileset.Userclassesmaynotbefound.SeeJoborJob#setJar(String).
INFO-FileInputFormat.listStatus(287)|Totalinputpathstoprocess:1
INFO-JobSubmitter.submitJobInternal(394)|numberofsplits:1
INFO-Configuration.warnOnceIfDeprecated(840)|user.nameisdeprecated.Instead,usemapreduce.job.user.name
INFO-Configuration.warnOnceIfDeprecated(840)|mapred.output.value.classisdeprecated.Instead,usemapreduce.job.output.value.class
INFO-Configuration.warnOnceIfDeprecated(840)|mapred.mapoutput.value.classisdeprecated.Instead,usemapreduce.map.output.value.class
INFO-Configuration.warnOnceIfDeprecated(840)|mapreduce.map.classisdeprecated.Instead,usemapreduce.job.map.class
INFO-C
请教hadoop2.0的ha如何配置
1 Hadoop HA架构详解
1.1 HDFS HA背景
HDFS集群中NameNode存在单点故障（SPOF）。对于只有一个NameNode的集群，如果NameNode机器出现意外情况，将导致整个集群无法使用，直到NameNode重新启动。
影响HDFS集群不可用主要包括以下两种情况：一是NameNode机器宕机，将导致集群不可用，重启NameNode之后才可使用；二是计划内的NameNode节点软件或硬件升级，导致集群在短时间内不可用。
为了解决上述问题，Hadoop给出了HDFS的高可用HA方案：HDFS通常由两个NameNode组成，一个处于active状态，另一个处于standby状态。Active NameNode对外提供服务，比如处理来自客户端的RPC请求，而Standby NameNode则不对外提供服务，仅同步Active NameNode的状态，以便能够在它失败时快速进行切换。
1.2 HDFS HA架构
一个典型的HA集群，NameNode会被配置在两台独立的机器上，在任何时间上，一个NameNode处于活动状态，而另一个NameNode处于备份状态，活动状态的NameNode会响应集群中所有的客户端，备份状态的NameNode只是作为一个副本，保证在必要的时候提供一个快速的转移。
为了让Standby Node与Active Node保持同步，这两个Node都与一组称为JNS的互相独立的进程保持通信(Journal Nodes)。当Active Node上更新了namespace，它将记录修改日志发送给JNS的多数派。Standby noes将会从JNS中读取这些edits，并持续关注它们对日志的变更。Standby Node将日志变更应用在自己的namespace中，当failover发生时，Standby将会在提升自己为Active之前，确保能够从JNS中读取所有的edits，即在failover发生之前Standy持有的namespace应该与Active保持完全同步。
为了支持快速failover，Standby node持有集群中blocks的最新位置是非常必要的。为了达到这一目的，DataNodes上需要同时配置这两个Namenode的地址，同时和它们都建立心跳链接，并把block位置发送给它们。
任何时刻，只有一个Active NameNode是非常重要的，否则将会导致集群操作的混乱，那么两个NameNode将会分别有两种不同的数据状态，可能会导致数据丢失，或者状态异常，这种情况通常称为“split-brain”（脑裂，三节点通讯阻断，即集群中不同的Datanodes却看到了两个Active NameNodes）。对于JNS而言，任何时候只允许一个NameNode作为writer；在failover期间，原来的Standby Node将会接管Active的所有职能，并负责向JNS写入日志记录，这就阻止了其他NameNode基于处于Active状态的问题。
基于QJM的HDFS HA方案如上图所示，其处理流程为：集群启动后一个NameNode处于Active状态，并提供服务，处理客户端和DataNode的请求，并把editlog写到本地和share editlog（这里是QJM）中。另外一个NameNode处于Standby状态，它启动的时候加载fsimage，然后周期性的从share editlog中获取editlog，保持与Active节点的状态同步。为了实现Standby在Active挂掉后迅速提供服务，需要DataNode同时向两个NameNode汇报，使得Stadnby保存block to DataNode信息，因为NameNode启动中最费时的工作是处理所有DataNode的blockreport。为了实现热备，增加FailoverController和Zookeeper，FailoverController与Zookeeper通信，通过Zookeeper选举机制，FailoverController通过RPC让NameNode转换为Active或Standby。
1.3 HDFS HA配置要素
NameNode机器：两台配置对等的物理机器，它们分别运行Active和Standby Node。
JouralNode机器：运行JouralNodes的机器。JouralNode守护进程相当的轻量级，可以和Hadoop的其他进程部署在一起，比如NameNode、DataNode、ResourceManager等，至少需要3个且为奇数，如果你运行了N个JNS，那么它可以允许(N-1)/2个JNS进程失效并且不影响工作。
在HA集群中，Standby NameNode还会对namespace进行checkpoint操作（继承Backup Namenode的特性），因此不需要在HA集群中运行SecondaryNameNode、CheckpointNode或者BackupNode。
1.4 HDFS HA配置参数
需要在hdfs.xml中配置如下参数：
dfs.nameservices：HDFS NN的逻辑名称，例如myhdfs。
dfs.ha.namenodes.myhdfs：给定服务逻辑名称myhdfs的节点列表，如nn1、nn2。
dfs.namenode.rpc-address.myhdfs.nn1：myhdfs中nn1对外服务的RPC地址。
dfs.namenode.http-address.myhdfs.nn1：myhdfs中nn1对外服务http地址。
dfs.namenode.shared.edits.dir：JournalNode的服务地址。
dfs.journalnode.edits.dir：JournalNode在本地磁盘存放数据的位置。
dfs.ha.automatic-failover.enabled：是否开启NameNode失败自动切换。
dfs.ha.fencing.methods：配置隔离机制，通常为sshfence。
1.5 HDFS自动故障转移
HDFS的自动故障转移主要由Zookeeper和ZKFC两个组件组成。
Zookeeper集群作用主要有：一是故障监控。每个NameNode将会和Zookeeper建立一个持久session，如果NameNode失效，那么此session将会过期失效，此后Zookeeper将会通知另一个Namenode，然后触发Failover；二是NameNode选举。ZooKeeper提供了简单的机制来实现Acitve Node选举，如果当前Active失效，Standby将会获取一个特定的排他锁，那么获取锁的Node接下来将会成为Active。
ZKFC是一个Zookeeper的客户端，它主要用来监测和管理NameNodes的状态，每个NameNode机器上都会运行一个ZKFC程序，它的职责主要有：一是健康监控。ZKFC间歇性的ping NameNode，得到NameNode返回状态，如果NameNode失效或者不健康，那么ZKFS将会标记其为不健康；二是Zookeeper会话管理。当本地NaneNode运行良好时，ZKFC将会持有一个Zookeeper session，如果本地NameNode为Active，它同时也持有一个“排他锁”znode，如果session过期，那么次lock所对应的znode也将被删除；三是选举。当集群中其中一个NameNode宕机，Zookeeper会自动将另一个激活。
1.6 YARN HA架构
YARN的HA架构和HDFSHA类似，需要启动两个ResourceManager，这两个ResourceManager会向ZooKeeper集群注册，通过ZooKeeper管理它们的状态（Active或Standby）并进行自动故障转移。
2高可用集群规划
2.1集群规划
根据Hadoop的HA架构分析，规划整个集群由5台主机组成，具体情况如下表所示：
主机名
IP地址
安装的软件
JPS
hadoop-master1
172.16.20.81
Jdk/hadoop
Namenode/zkfc/resourcemanager/
JobHistoryServer
hadoop-master2
172.16.20.82
Jdk/hadoop
Namenode/zkfc/resourcemanager/
WebProxyServer
hadoop-slave1
172.16.20.83
Jkd/hadoop/zookeepe
Datanode/journalnode/nodemanager/
quorumPeerMain
hadoop-slave2
172.16.20.84
Jkd/hadoop/zookeeper
Datanode/journalnode/nodemanager/
quorumPeerMain
hadoop-slave3
172.16.20.85
Jkd/hadoop/zookeeper
Datanode/journalnode/nodemanager/
quorumPeerMain
需要说明以下几点：
HDFS HA通常由两个NameNode组成，一个处于Active状态，另一个处于Standby状态。Active NameNode对外提供服务，而Standby NameNode则不对外提供服务，仅同步Active NameNode的状态，以便能够在它失败时快速进行切换。
Hadoop 2.0官方提供了两种HDFS HA的解决方案，一种是NFS，另一种是QJM。这里我们使用简单的QJM。在该方案中，主备NameNode之间通过一组JournalNode同步元数据信息，一条数据只要成功写入多数JournalNode即认为写入成功。通常配置奇数个JournalNode，这里还配置了一个Zookeeper集群，用于ZKFC故障转移，当Active NameNode挂掉了，会自动切换Standby NameNode为Active状态。
YARN的ResourceManager也存在单点故障问题，这个问题在hadoop-2.4.1得到了解决：有两个ResourceManager，一个是Active，一个是Standby，状态由zookeeper进行协调。
YARN框架下的MapReduce可以开启JobHistoryServer来记录历史任务信息，否则只能查看当前正在执行的任务信息。
Zookeeper的作用是负责HDFS中NameNode主备节点的选举，和YARN框架下ResourceManaer主备节点的选举。
2.2软件版本
操作系统：CentOS Linux release 7.0.1406
JDK：Java(TM)SE Runtime Environment(build 1.7.0_79-b15)
Hadoop：Hadoop 2.6.0-cdh5.7.1
ZooKeeper：zookeeper-3.4.5-cdh5.7.1
3 Linux环境准备
集群各节点进行如下修改配置：
3.1创建用户并添加权限
//切换root用户
$ su root
//创建hadoop用户组
# groupadd hadoop
//在hadoop用户组中创建hadoop用户
# useradd-g hadoop hadoop
//修改用户hadoop密码
# passwd hadoop
//修改sudoers配置文件给hadoop用户添加sudo权限
# vim/etc/sudoers
hadoop ALL=(ALL) ALL
//测试是否添加权限成功
# exit
$ sudo ls/root
3.2修改IP地址和主机名
//切换root用户
$ su root
//修改本机IP地址
# vim/etc/sysconfig/network-scripts/ifcfg-eth0
//重启网络服务
# service network restart
//修改主机名
# hostnamectl set-hostname主机名
//查看主机名
# hostnamectl status
3.3设置IP地址与主机名映射
//切换root用户
$ su root
//编辑hosts文件
# vim/etc/hosts
172.16.20.81 hadoop-master1
172.16.20.82 hadoop-master2
172.16.20.83 hadoop-slave1
172.16.20.84 hadoop-slave2
172.16.20.85 hadoop-slave3
3.4关闭防火墙和Selinux
//切换root用户
$ su root
//停止firewall防火墙
# systemctl stop firewalld.service
//禁止firewall开机启动
# systemctl disable firewalld.service
//开机关闭Selinux
# vim/etc/selinux/config
SELINUX=disabled
//重启机器后root用户查看Selinux状态
# getenforce
3.5配置SSH免密码登录
//在hadoop-master1节点生成SSH密钥对
$ ssh-keygen-t rsa
//将公钥复制到集群所有节点机器上
$ ssh-copy-id hadoop-master1
$ ssh-copy-id hadoop-master2
$ ssh-copy-id hadoop-slave1
$ ssh-copy-id hadoop-slave2
$ ssh-copy-id hadoop-slave3
//通过ssh登录各节点测试是否免密码登录成功
$ ssh hadoop-master2
备注：在其余节点上执行同样的操作，确保集群中任意节点都可以ssh免密码登录到其它各节点。
3.6安装JDK
//卸载系统自带的openjdk
$ suroot
# rpm-qa| grep java
# rpm-e--nodeps java-1.7.0-openjdk-1.7.0.75-2.5.4.2.el7_0.x86_64
# rpm-e--nodeps java-1.7.0-openjdk-headless-1.7.0.75-2.5.4.2.el7_0.x86_64
# rpm-e--nodeps tzdata-java-2015a-1.el7_0.noarch
# exit
//解压jdk安装包
$ tar-xvf jdk-7u79-linux-x64.tar.gz
//删除安装包
$ rmjdk-7u79-linux-x64.tar.gz
//修改用户环境变量
$ cd~
$ vim.bash_profile
exportJAVA_HOME=/home/hadoop/app/jdk1.7.0_79
exportPATH=$PATH:$JAVA_HOME/bin
//使修改的环境变量生效
$ source.bash_profile
//测试jdk是否安装成功
$ java-version
4集群时间同步
如果集群节点时间不同步，可能会出现节点宕机或引发其它异常问题，所以在生产环境中一般通过配置NTP服务器实现集群时间同步。本集群在hadoop-master1节点设置ntp服务器，具体方法如下：
//切换root用户
$ su root
//查看是否安装ntp
# rpm-qa| grep ntp
//安装ntp
# yum install-y ntp
//配置时间服务器
# vim/etc/ntp.conf
#禁止所有机器连接ntp服务器
restrict default ignore
#允许局域网内的所有机器连接ntp服务器
restrict 172.16.20.0 mask 255.255.255.0 nomodify notrap
#使用本机作为时间服务器
server 127.127.1.0
//启动ntp服务器
# service ntpd start
//设置ntp服务器开机自动启动
# chkconfig ntpd on
集群其它节点通过执行crontab定时任务，每天在指定时间向ntp服务器进行时间同步，方法如下：
//切换root用户
$ su root
//执行定时任务，每天00:00向服务器同步时间，并写入日志
# crontab-e
0 0***/usr/sbin/ntpdate hadoop-master1>>/home/hadoop/ntpd.log
//查看任务
# crontab-l
5 Zookeeper集群安装
Zookeeper是一个开源分布式协调服务，其独特的Leader-Follower集群结构，很好的解决了分布式单点问题。目前主要用于诸如：统一命名服务、配置管理、锁服务、集群管理等场景。大数据应用中主要使用Zookeeper的集群管理功能。
本集群使用zookeeper-3.4.5-cdh5.7.1版本。首先在hadoop-slave1节点安装Zookeeper，方法如下：
//新建目录
$ mkdir app/cdh
//解压zookeeper安装包
$ tar-xvf zookeeper-3.4.5-cdh5.7.1.tar.gz-C app/cdh/
//删除安装包
$ rm-rf zookeeper-3.4.5-cdh5.7.1.tar.gz
//配置用户环境变量
$ vim.bash_profile
export ZOOKEEPER_HOME=/home/hadoop/app/cdh/zookeeper-3.4.5-cdh5.7.1
export PATH=$PATH:$ZOOKEEPER_HOME/bin
//使修改的环境变量生效
$ source.bash_profile
//修改zookeeper的配置文件
$ cd app/cdh/zookeeper-3.4.5-cdh5.7.1/conf/
$ cp zoo_sample.cfg zoo.cfg
$ vim zoo.cfg
#客户端心跳时间(毫秒)
tickTime=2000
#允许心跳间隔的最大时间
initLimit=10
#同步时限
syncLimit=5
#数据存储目录
dataDir=/home/hadoop/app/cdh/zookeeper-3.4.5-cdh5.7.1/data
#数据日志存储目录
dataLogDir=/home/hadoop/app/cdh/zookeeper-3.4.5-cdh5.7.1/data/log
#端口号
clientPort=2181
#集群节点和服务端口配置
server.1=hadoop-slave1:2888:3888
server.2=hadoop-slave2:2888:3888
server.3=hadoop-slave3:2888:3888
#以下为优化配置
#服务器最大连接数，默认为10，改为0表示无限制
maxClientCnxns=0
#快照数
autopurge.snapRetainCount=3
#快照清理时间，默认为0
autopurge.purgeInterval=1
//创建zookeeper的数据存储目录和日志存储目录
$ cd..
$ mkdir-p data/log
//在data目录中创建一个文件myid，输入内容为1
$ echo"1">> data/myid
//修改zookeeper的日志输出路径(注意CDH版与原生版配置文件不同)
$ vim libexec/zkEnv.sh
if ["x${ZOO_LOG_DIR}"="x" ]
then
ZOO_LOG_DIR="$ZOOKEEPER_HOME/logs"
fi
if ["x${ZOO_LOG4J_PROP}"="x" ]
then
ZOO_LOG4J_PROP="INFO,ROLLINGFILE"
fi
//修改zookeeper的日志配置文件
$ vim conf/log4j.properties
zookeeper.root.logger=INFO,ROLLINGFILE
//创建日志目录
$ mkdir logs
将hadoop-slave1节点上的Zookeeper目录同步到hadoop-slave2和hadoop-slave3节点，并修改Zookeeper的数据文件。此外，不要忘记设置用户环境变量。
//在hadoop-slave1中将zookeeper目录复制到其它节点
$ cd~
$ scp-r app/cdh/zookeeper-3.4.5-cdh5.7.1hadoop-slave2:/home/hadoop/app/cdh
$ scp-r app/cdh/zookeeper-3.4.5-cdh5.7.1 hadoop-slave3:/home/hadoop/app/cdh
//在hadoop-slave2中修改data目录中的myid文件
$ echo"2">app/cdh/zookeeper-3.4.5-cdh5.7.1/data/myid
//在hadoop-slave3中修改data目录中的myid文件
$ echo"3">app/cdh/zookeeper-3.4.5-cdh5.7.1/data/myid
最后，在安装了Zookeeper的各节点上启动Zookeeper，并查看节点状态，方法如下：
//启动
$ zkServer.sh start
//查看状态
$ zkServer.sh status
//关闭
如何部署hadoop分布式文件系统
一、实战环境
系统版本：CentOS 5.8x86_64
JAVA版本：JDK-1.7.0_25
Hadoop版本：hadoop-2.2.0
192.168.149.128namenode（充当namenode、secondary namenode和ResourceManager角色）
192.168.149.129datanode1（充当datanode、nodemanager角色）
192.168.149.130datanode2（充当datanode、nodemanager角色）
二、系统准备
1、Hadoop可以从Apache官方网站直接下载最新版本Hadoop2.2。官方目前是提供了linux32位系统可执行文件，所以如果需要在64位系统上部署则需要单独下载src源码自行编译。（如果是真实线上环境，请下载64位hadoop版本，这样可以避免很多问题，这里我实验采用的是32位版本）
1234 Hadoop
Java
2、我们这里采用三台CnetOS服务器来搭建Hadoop集群，分别的角色如上已经注明。
第一步：我们需要在三台服务器的/etc/hosts里面设置对应的主机名如下（真实环境可以使用内网DNS解析）
[root@node1 hadoop]# cat/etc/hosts
# Do not remove the following line, or various programs
# that require network functionality will fail.
127.0.0.1localhost.localdomain localhost
192.168.149.128node1
192.168.149.129node2
192.168.149.130node3
（注*我们需要在namenode、datanode三台服务器上都配置hosts解析）
第二步：从namenode上无密码登陆各台datanode服务器，需要做如下配置:
在namenode 128上执行ssh-keygen，一路Enter回车即可。
然后把公钥/root/.ssh/id_rsa.pub拷贝到datanode服务器即可，拷贝方法如下：
ssh-copy-id-i.ssh/id_rsa.pub root@192.168.149.129
ssh-copy-id-i.ssh/id_rsa.pub root@192.168.149.130
三、Java安装配置
tar-xvzf jdk-7u25-linux-x64.tar.gz&&mkdir-p/usr/java/; mv/jdk1.7.0_25/usr/java/即可。
安装完毕并配置java环境变量，在/etc/profile末尾添加如下代码：
export JAVA_HOME=/usr/java/jdk1.7.0_25/
export PATH=$JAVA_HOME/bin:$PATH
export CLASSPATH=$JAVE_HOME/lib/dt.jar:$JAVE_HOME/lib/tools.jar:./
保存退出即可，然后执行source/etc/profile生效。在命令行执行java-version如下代表JAVA安装成功。
[root@node1~]# java-version
java version"1.7.0_25"
Java(TM) SE Runtime Environment(build 1.7.0_25-b15)
Java HotSpot(TM) 64-Bit Server VM(build 23.25-b01, mixed mode)
（注*我们需要在namenode、datanode三台服务器上都安装Java JDK版本）
四、Hadoop版本安装
官方下载的hadoop2.2.0版本，不用编译直接解压安装就可以使用了，如下：
第一步解压:
tar-xzvf hadoop-2.2.0.tar.gz&&mv hadoop-2.2.0/data/hadoop/
（注*先在namenode服务器上都安装hadoop版本即可，datanode先不用安装，待会修改完配置后统一安装datanode）
第二步配置变量：
在/etc/profile末尾继续添加如下代码，并执行source/etc/profile生效。
export HADOOP_HOME=/data/hadoop/
export PATH=$PATH:$HADOOP_HOME/bin/
export JAVA_LIBRARY_PATH=/data/hadoop/lib/native/
（注*我们需要在namenode、datanode三台服务器上都配置Hadoop相关变量）
五、配置Hadoop
在namenode上配置，我们需要修改如下几个地方：
1、修改vi/data/hadoop/etc/hadoop/core-site.xml内容为如下：
<?xml version="1.0"?>
<?xml-stylesheet type="text/xsl"href=\'#\'" Put site-specific property overrides inthisfile.-->
<configuration>
<property>
<name>fs.default.name</name>
<value>hdfs://192.168.149.128:9000</value>
</property>
<property>
<name>hadoop.tmp.dir</name>
<value>/tmp/hadoop-${user.name}</value>
<description>A base forother temporary directories.</description>
</property>
</configuration>
2、修改vi/data/hadoop/etc/hadoop/mapred-site.xml内容为如下：
<?xml version="1.0"?>
<?xml-stylesheet type="text/xsl"href=\'#\'" Put site-specific property overrides inthisfile.-->
<configuration>
<property>
<name>mapred.job.tracker</name>
<value>192.168.149.128:9001</value>
</property>
</configuration>
3、修改vi/data/hadoop/etc/hadoop/hdfs-site.xml内容为如下：
<?xml version="1.0"encoding="UTF-8"?>
<?xml-stylesheet type="text/xsl"href=\'#\'"/name>
<value>/data/hadoop/data_name1,/data/hadoop/data_name2</value>
</property>
<property>
<name>dfs.data.dir</name>
<value>/data/hadoop/data_1,/data/hadoop/data_2</value>
</property>
<property>
<name>dfs.replication</name>
<value>2</value>
</property>
</configuration>
4、在/data/hadoop/etc/hadoop/hadoop-env.sh文件末尾追加JAV_HOME变量：
echo"export JAVA_HOME=/usr/java/jdk1.7.0_25/">>/data/hadoop/etc/hadoop/hadoop-env.sh
5、修改 vi/data/hadoop/etc/hadoop/masters文件内容为如下：
192.168.149.128
6、修改vi/data/hadoop/etc/hadoop/slaves文件内容为如下：
192.168.149.129
192.168.149.130
如上配置完毕，以上的配置具体含义在这里就不做过多的解释了，搭建的时候不明白，可以查看一下相关的官方文档。
如上namenode就基本搭建完毕，接下来我们需要部署datanode，部署datanode相对简单，执行如下操作即可。
1 fori in`seq 129130`; doscp-r/data/hadoop/ root@192.168.149.$i:/data/; done
自此整个集群基本搭建完毕，接下来就是启动hadoop集群了。
