ubuntu搭建hadoop环境搭建？hadoop环境配置
大家好，感谢邀请，今天来为大家分享一下ubuntu搭建hadoop环境搭建的问题，以及和hadoop环境配置的一些困惑，大家要是还不太明白的话，也没有关系，因为接下来将为大家分享，希望可以帮助到大家，解决大家的问题，下面就开始吧！
如何在ubuntu上安装hadoop
1、创建hadoop管理员帐号
直接在终端执行如下命令行：
1 sudo adduser hadoop
然后要求你设置hadoop帐户密码，这个命令是添加一个名为hadoop的标准帐户，我们需要的是管理员帐号
可以直接在图形界面下修改hadoop权限，将鼠标点击右上角的一个人头处，浮现列表，点击“用户账户”，解锁，然后更改为管理员权限
2、安装ssh服务
ssh可以实现远程登录和管理，详细情况请google百度
ubuntu默认并没有安装ssh服务，如果通过ssh链接ubuntu，需要自己手动安装ssh-server。命令行：
1 sudo apt-get install ssh openssh-server
3、ssh无密码验证登录
创建ssh-key，这里我们采用rsa方式，命令行如下：
1 ssh-keygen-t rsa-P""
出现一个图形，出现的图形就是密码，不用管它
1 cat~/.ssh/id_rsa.pub>> authorized_keys
然后即可无密码验证登录了，如下：
1 ssh localhost
退出命令行为：
exit
4、解压hadoop源码包
终端下进入hadoop源码包所在目录，使用复制命令把hadoop源码包复制到/home/hadoop下
1 cp hadoop-1.2.1.tar.gz/home/hadoop
然后解压,命令行如下
tar-xzvf*.tag.gz
5、配置hadoop的hadoop/conf下的hadoop-env.sh，core-site.xml，mapred-site.xml，hdfs-site.xml
配置hadoop-1.2.1/conf/hadoop-env.sh，命令行：
1 gedit/home/hadoop/hadoop-1.2.1/conf/hadoop-env.sh
ctrl+ f搜索到JAVA_HOME
把前面的#去掉，加上本系统jdk路径，保存退出
配置hadoop-1.2.1/conf/core-site.xml，命令行：
gedit/home/hadoop/hadoop-1.2.1/conf/core-site.xml
在hadoop新建hadoop_tmp目录，
将如下<configuration></configuration>之间的添加进入，保存退出
<?xml version="1.0"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<!-- Put site-specific property overrides in this file.-->
<configuration>
<property>
<name>fs.default.name</name>
<value>hdfs://localhost:9000</value>
</property>
<property>
<name>hadoop.tmp.dir</name>
<value>/home/hadoop/hadoop-1.2.1/hadoop_tmp</value>
<description>A base for other temporary directories.</description>
</property>
</configuration>
配置hadoop-1.2.1/conf/mapre-site.xml，命令行：
1 gedit/home/hadoop/hadoop-1.2.1/conf/mapre-site.xml.xml
将如下<configuration></configuration>之间的添加进入，保存退出
<?xml version="1.0"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<!-- Put site-specific property overrides in this file.-->
<configuration>
<property>
<name>mapred.job.tracker</name>
<value>localhost:9001</value>
</property>
</configuration>
配置hadoop-1.2.1/conf/hdfs-site.xml，命令行：
1 gedit/home/hadoop/hadoop-1.2.1/conf/hdfs-site.xml
将如下<configuration></configuration>之间的添加进入，保存退出
<?xml version="1.0"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<!-- Put site-specific property overrides in this file.-->
<configuration>
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
</configuration>
至此hadoop的安装配置已经完毕，稍后的是hadoop的初次运行操作
6、格式化hdfs文件系统
进入hadoop-1.2.1
/bin/hadoop namenode-format
7、启动hadoop服务
/bin/start-all.sh
出现如下画面
jps
jps是查看java虚拟机运行的java线程
然后出现如下画面
不计jps，有五个hadoop相关线程，恭喜你，hadoop安装配置成功，运行正常。
然后可以退出hadoop。，以后再用时再启动，导入数据
搭建成功之后重新开启UBUNTU,怎么启动hadoop
终于成功搭建完毕Hadoop完全分布式环境。其中耽误时间最长的是datanode无法启动。其实是自己的低级错误。
3台虚拟机，一台master，两台salve。
第一次错误，查看日志，是hdfs-site.xml文件配置拼写错误。
第二次到第N次都是 slave无法连接到master，以下是我检查的方向：
1.master和 slave的防火墙确认是关闭的。
2.再次检查配置文件：fs.default.name和mapred.job.tracker的value值 master和ip都试试。
3.再第一次发生错误修改完毕后，format namenode时无法成功，这是因为配置的dfs.name.dir和dfs.data.dir文件目录没有删除，需要手动删除master和slave的相关文件夹。
4.ssh连接。配置完ssh无密码登陆之后，需要连接一次（第一次连接会让你输入yes?），这正是我花费时间最长的地方。master连接slave，slave也要连接master。之后再format，启动hadoop，jps查看进程成功启动。
从这次搭建环境中，学会了试着分析日志找到问题，同时通过一步步排除可能的原因得到最后的原因。
相关阅读：
Ubuntu 13.04上搭建Hadoop环境
Ubuntu 12.10+Hadoop 1.2.1版本集群配置
Ubuntu上搭建Hadoop环境（单机模式+伪分布模式）
Ubuntu下Hadoop环境的配置
单机版搭建Hadoop环境图文教程详解
搭建Hadoop环境（在Winodws环境下用虚拟机虚拟两个Ubuntu系统进行搭建）
搭建spark伪分散式需要先搭建hadoop吗
搭建spark伪分散式需要先搭建hadoop吗
搭建Spark伪分散式不需要Hadoop，因为可以直接从本地读档案。
完全分散式环境需要搭建Hadoop，主要是因为，需要使用HDFS来做分散式储存。
Spark和Hadoop是完全两种丛集。Spark是分散式计算框架，Hadoop是分散式计算/储存/排程框架。Spark可以无缝访问存在HDFS上的资料。
所以两个丛集如何搭建是没有关系的。Spark只关心如何访问HDFS，就是hdfs:namenode:port/能访问就行。
当然Spark作业提交到YARN那是另外一回事了。
shell指令码怎么写hadoop伪分散式环境搭建
因为 Hadoop执行必须安装 JDK环境，因此在安装好 Linux后进入系统的第一步便是安装 JDK，安装过程和在 Windows环境中的安装步骤很类似，首先去 Oracle官网去下载安装包，然后直接进行解压。我自己解压在路径/usr/jvm下面，假如你的安...
利用阿里云可以搭建伪分散式的hadoop的环境吗？
可以的但是网路状况要好伪分散式你在阿里云买一台就可已搭丛集呢
伪分散式搭建hbase，不需要配置masters档案跟slaves档案了吗
必须配置，不过都是配置的本机
mac os x上搭建伪分散式cdh版本hadoop开发环境后怎么进行hadoop开发
路径应该是
/Library/Java/JavaVirtualMachines/jdk1.8.x_xx.jdk/Contents/Home
其中 x_xx应该是你下载的对应版本号。
hadoop在进行伪分散式搭建时ssh必须配置成无密码登入吗
第一步：安装JDK因为 Hadoop执行必须安装 JDK环境，因此在安装好 Linux后进入系统的第一步便是安装 JDK，安装过程和在 Windows环境中的安装步骤很类似，首先去Oracle官网去下载安装包，然后直接进行解压。我自己解压在路径/usr/jvm...
hadoop伪分散式，一个电脑里的VM里安装一个ubuntu，这样能搭建好吗？还是需要2个ubuntu以上才能搭建好？
学习的话一个估计就够用了如何机器配置可以的话
如何搭建hadoop2.6分散式丛集
部署步骤序号操作 1配置SSH无密码登陆 2配置环境变数JAVA(必须),MAVEN,ANT 3配置Hadoop环境变数 4配置core-site.xml档案 5配置hdfs-site.xml档案 6配置mapred-site.xml档案 7配置yarn-site.xml档案 8配置slaves档案 9分发到从机上 10...
hbase 0.99.2能做伪分散式吗
在hbase-default.xml那个档案里加入
<property>
<name>hbase.zookeeper.quorum</name>
<value>你的所有节点ip，如果是伪分散式环境的就是localhost</value>
例如：<value>192.168.1.2,192.168.1.1</value>
</property>
并且检查/etc/hosts档案里是否把127.0.1.1那一个也改成127.0.0.1了，如果没有改，那就把它改成127.0.0.1，分别对应localhost和主机名
