ubuntu hadoop 2.2.0 ubuntu 22.04

云服务器测评

2025-1-10

linux相关教程

大家好，感谢邀请，今天来为大家分享一下ubuntu hadoop 2.2.0的问题，以及和ubuntu 22.04的一些困惑，大家要是还不太明白的话，也没有关系，因为接下来将为大家分享，希望可以帮助到大家，解决大家的问题，下面就开始吧！

搭建成功之后重新开启UBUNTU,怎么启动hadoop

终于成功搭建完毕Hadoop完全分布式环境。其中耽误时间最长的是datanode无法启动。其实是自己的低级错误。

3台虚拟机，一台master，两台salve。

第一次错误，查看日志，是hdfs-site.xml文件配置拼写错误。

第二次到第N次都是 slave无法连接到master，以下是我检查的方向：

1.master和 slave的防火墙确认是关闭的。

2.再次检查配置文件：fs.default.name和mapred.job.tracker的value值 master和ip都试试。

3.再第一次发生错误修改完毕后，format namenode时无法成功，这是因为配置的dfs.name.dir和dfs.data.dir文件目录没有删除，需要手动删除master和slave的相关文件夹。

4.ssh连接。配置完ssh无密码登陆之后，需要连接一次（第一次连接会让你输入yes?），这正是我花费时间最长的地方。master连接slave，slave也要连接master。之后再format，启动hadoop，jps查看进程成功启动。

从这次搭建环境中，学会了试着分析日志找到问题，同时通过一步步排除可能的原因得到最后的原因。

如何在ubuntu上安装hadoop

1、创建hadoop管理员帐号

直接在终端执行如下命令行：

1 sudo adduser hadoop

然后要求你设置hadoop帐户密码，这个命令是添加一个名为hadoop的标准帐户，我们需要的是管理员帐号

可以直接在图形界面下修改hadoop权限，将鼠标点击右上角的一个人头处，浮现列表，点击“用户账户”，解锁，然后更改为管理员权限

2、安装ssh服务

ssh可以实现远程登录和管理，详细情况请google百度

ubuntu默认并没有安装ssh服务，如果通过ssh链接ubuntu，需要自己手动安装ssh-server。命令行：

1 sudo apt-get install ssh openssh-server

3、ssh无密码验证登录

创建ssh-key，这里我们采用rsa方式，命令行如下：

1 ssh-keygen-t rsa-P""

出现一个图形，出现的图形就是密码，不用管它

1 cat~/.ssh/id_rsa.pub>> authorized_keys

然后即可无密码验证登录了，如下：

1 ssh localhost

退出命令行为：

exit

4、解压hadoop源码包

终端下进入hadoop源码包所在目录，使用复制命令把hadoop源码包复制到/home/hadoop下

1 cp hadoop-1.2.1.tar.gz/home/hadoop

然后解压,命令行如下

tar-xzvf*.tag.gz

5、配置hadoop的hadoop/conf下的hadoop-env.sh，core-site.xml，mapred-site.xml，hdfs-site.xml

配置hadoop-1.2.1/conf/hadoop-env.sh，命令行：

1 gedit/home/hadoop/hadoop-1.2.1/conf/hadoop-env.sh

ctrl+ f搜索到JAVA_HOME

把前面的#去掉，加上本系统jdk路径，保存退出

配置hadoop-1.2.1/conf/core-site.xml，命令行：

gedit/home/hadoop/hadoop-1.2.1/conf/core-site.xml

在hadoop新建hadoop_tmp目录，

将如下<configuration></configuration>之间的添加进入，保存退出

<?xml version="1.0"?>

<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>

<name>fs.default.name</name>

<value>hdfs://localhost:9000</value>

</property>

<name>hadoop.tmp.dir</name>

<value>/home/hadoop/hadoop-1.2.1/hadoop_tmp</value>

<description>A base for other temporary directories.</description>

</property>

</configuration>

配置hadoop-1.2.1/conf/mapre-site.xml，命令行：

1 gedit/home/hadoop/hadoop-1.2.1/conf/mapre-site.xml.xml

将如下<configuration></configuration>之间的添加进入，保存退出

<?xml version="1.0"?>

<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>

<name>mapred.job.tracker</name>

<value>localhost:9001</value>

</property>

</configuration>

配置hadoop-1.2.1/conf/hdfs-site.xml，命令行：

1 gedit/home/hadoop/hadoop-1.2.1/conf/hdfs-site.xml

将如下<configuration></configuration>之间的添加进入，保存退出

<?xml version="1.0"?>

<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>

<name>dfs.replication</name>

</property>

</configuration>

至此hadoop的安装配置已经完毕，稍后的是hadoop的初次运行操作

6、格式化hdfs文件系统

进入hadoop-1.2.1

/bin/hadoop namenode-format

7、启动hadoop服务

/bin/start-all.sh

出现如下画面

jps

jps是查看java虚拟机运行的java线程

然后出现如下画面

不计jps，有五个hadoop相关线程，恭喜你，hadoop安装配置成功，运行正常。

然后可以退出hadoop。，以后再用时再启动，导入数据

如何运行自带wordcount

1.找到examples例子

我们需要找打这个例子的位置：首先需要找到你的hadoop文件夹，然后依照下面路径：

/hadoop/share/hadoop/mapreduce会看到如下图：

hadoop-mapreduce-examples-2.2.0.jar

第二步：

我们需要需要做一下运行需要的工作，比如输入输出路径，上传什么文件等。

1.先在HDFS创建几个数据目录：

hadoop fs-mkdir-p/data/wordcount

hadoop fs-mkdir-p/output/

2.目录/data/wordcount用来存放Hadoop自带的WordCount例子的数据文件，运行这个MapReduce任务的结果输出到/output/wordcount目录中。

首先新建文件inputWord：

vi/usr/inputWord

新建完毕，查看内容：

cat/usr/inputWord

将本地文件上传到HDFS中：

hadoop fs-put/usr/inputWord/data/wordcount/

可以查看上传后的文件情况，执行如下命令：

hadoop fs-ls/data/wordcount

可以看到上传到HDFS中的文件。

通过命令

hadoop fs-text/data/wordcount/inputWord

看到如下内容：

下面，运行WordCount例子，执行如下命令：

hadoop jar/usr/hadoop/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.2.0.jar wordcount/data/wordcount/output/wordcount

可以看到控制台输出程序运行的信息

查看结果，执行如下命令：

hadoop fs-text/output/wordcount/part-r-00000

结果数据示例如下：

登录到Web控制台，访问链接http.//master:8088/可以看到任务记录情况。

阅读剩余

作者：云服务器测评

链接：https://www.i40.top/linux/58240.html

文章版权归作者所有，未经允许请勿转载。

THE END

<<上一篇

ubuntu hadoop ubuntu centos debian

下一篇>>