vmware ubuntu hadoop?vmware虚拟机安装ubuntu
大家好,关于vmware ubuntu hadoop很多朋友都还不太明白,今天小编就来为大家分享关于vmware虚拟机安装ubuntu的知识,希望对各位有所帮助!
vmware虚拟机中ubuntu 16.04 详细安装教程附下载地址
安装准备下载地址
ubuntu-16.04下载地址:
Ubuntu 16.04 LTS官方镜像下载:
32位:
64位:
解决方案:
直接删除namenode的配置文件目录,在重新format
1. cd/hadoop/hadoop-1.2.1/bin
2. stop-all.sh
3. cd hdfs
4./hadoop/hadoop-1.2.1/hdfs# rm-rf name
5./hadoop namenode-format
6.再次jps
/hadoop/hadoop-1.2.1/bin# jps
6208 Jps
5915 SecondaryNameNode
5999 JobTracker
5610 NameNode
6143 TaskTracker
5771 DataNode
ubuntu~/.profile
~:主文件夹~表示主文件夹.:隐藏文件.表示隐藏文件
~/.profile:主文件夹下的隐藏文件profile,个人系统变量设置文件。
安装步骤
英文版安装
中文简体版本安装,分配完成磁盘后,下一步按钮未显示(虚拟机问题)。建议一般安装英文版本;
如果选择简体中文,则系统显示字体为简体中文。
ubuntu命令模式下如何进行复制和粘贴方式
一般来说要看操作环境。不同的SHELL操作环境,快截键可能略有不同。
0.在KDE/Gnome下:
复制命令:Ctrl+ C
粘贴命令:Ctrl+ V
1.在终端下:
复制命令:Ctrl+ Shift+ C组合键.
粘贴命令:Ctrl+ Shift+ V组合键.
2.在控制台下:
复制命令:Ctrl+ Insert组合键或用鼠标选中即是复制。
粘贴命令:Shift+ Insert组合键或单击鼠标滚轮即为粘贴。
VM虚拟机中的Ubuntu设置固定IP上网图文教程
但是如果你的机子有特殊用处,比如作为服务器,需要IP地址信息,亦或者像我一样,作为一个云计算的节点,其IP都是在配置文件里配置好的,如果每次重启系统都要跑过去修改下配置文件里的IP,那简直是不可取的做法,因此为虚拟机设置固定IP上网非常的有必要!
设置固定IP的方法很多,大家都知道虚拟机上网有三种模式:bridged、host-only和NAT,其中NAT模式对应VMnet8虚拟网络,host-only模式对应VMnet1虚拟网络,bridged模式对应 VMnet0虚拟网络,都是由VMware虚拟机自动配置而生成的,不需要用户自行设置。VMnet8和VMnet1提供DHCP服务,VMnet0虚拟网络则不提供。
由于NAT的方式最简单,因此下面是NAT设置的具体方法。
测试环境:
虚拟机版本:VMware Workstation 10
Ubuntu版本:Ubuntu 12.10/13.04
1.设置虚拟机上网方式为NAT
2. 配置VMnet8虚拟网络(Virtual Network Editor)
因为NAT对应的是VMnet8虚拟网络,打开Vmware自带的虚拟网络编辑工具Virtual Network Editor,配置如下:
其中子网IP根据自己情况设置,比如我想设置固定IP地址为192.168.1.151,那么这里的子网IP就填192.168.1.0,另外记得取消DHCP选项服务。
3. 进入到Ubuntu系统中配置网络
主要配置下面三个方面的内容:
(1)修改文件/etc/network/interfaces,这里是IP、网关、掩码等的一些配置;
(2)修改文件/etc/resolv.conf,这个文件保存DNS的有关信息;
(3)解决resolv.conf被重写问题;
(4)重启虚拟机网络
下面是具体配置方法:
(1)修改文件/etc/network/interfaces
命令:
复制代码
代码如下:
sudo vi/etc/network/interfaces
或
sudo gedit/etc/network/interfaces
我的配置如下:
复制代码
代码如下:
# interfaces(5) file used by ifup(8) and ifdown(8)
auto lo
iface lo inet loopback
auto eth0/ppiface eth0 inet static
address 192.168.1.151
netmask 255.255.255.0
gateway 192.168.1.2
其中网关gateway要与Virtual Network Editor中“NAT Settings...”中的一致,一般好像都为192.168.xx.2。
(2)修改文件/etc/resolv.conf
命令:
复制代码
代码如下:
sudo vi/etc/resolv.conf
或
sudo gedit/etc/resolv.conf[code]
我的配置如下:
[code]nameserver 202.38.64.1
当然这里是因人而异了,加上你自己的DNS服务器即可,我的是校内DNS。
(3)解决resolv.conf被重写问题
第二步中你虽然配置了DNS,但是每次重启虚拟机或重启网络后/etc/resolv.conf文件就会被重写,也就是又恢复原样了,你以前的配置就不存在了,每次都要手动配置是极不可取的,所以这步是必须的,首先我们要搞清楚resolv.conf被重写的原因和机制,这在不同Ubuntu版本下有所差异。那怎么知道呢?一般resolv.conf文件一开头就告诉你了。
解决该问题其实有两种办法,不怕麻烦的想理解原理的请参照方法一(与版本有关),怕麻烦的不想折腾的自觉转到方法二(与版本无关)。
方法一:与版本有关
a)Ubuntu 12.10
打开/etc/resolv.conf后可看到开头的一句话:
复制代码
代码如下:
# Generated by NetworkManager
说明resolv.conf这个文件是由NetworkManager这个程序生成的(对应的是network-manager服务),那么解决办法也就来了:我们关掉network-manager即可,命令如下:
复制代码
代码如下:
sudo service network-manager stop
或者
sudo/etc/init.d/network-manager stop
但是这种方法不是一劳永逸的,因为每次重启系统后还是会自动启动这个服务,因此我们需要完全禁止network-manager启动即可。
编辑network manager的配置文件/etc/init/network-manager.conf:
复制代码
代码如下:
sudo vi/etc/init/network-manager.conf
注释掉其中的start on部分即可:
复制代码
代码如下:
# network-manager- network connection manager
#
# The Network Manager daemon manages the system's network connections,
# automatically switching between the best available./ppdescription"network connection manager"/pp#start on(local-filesystems
# and started dbus
# and static-network-up)
stop on stopping dbus/ppexpect fork
respawn/ppscript
# set$LANG so that messages appearing on the GUI will be translated. See LP: 875017
if [-r/etc/default/locale ]; then
./etc/default/locale
export LANG LANGUAGE LC_MESSAGES LC_ALL
fi
b)Ubuntu 13.04
不知道Ubuntu从哪个版本开始不是由NetworkManager生成resolv.conf的了,至少在13.04下是这样的,因为resolv.conf开头写着这样一句话:
复制代码
代码如下:
# Dynamic resolv.conf(5) file for glibc resolver(3) generated by resolvconf(8)
# DO NOT EDIT THIS FILE BY HAND-- YOUR CHANGES WILL BE OVERWRITTEN
说是由resolvconf生成,NetworkManager仍然存在,因为它是DHCP上网不可缺少的,但此时禁止NetworkManager启动已经不管用了,因为resolv.conf已经不归它管了,我们试着看看resolv.conf与resolvconf有啥关系,查看:
复制代码
代码如下:
hadoop@Master:~$ ll/etc/resolv.conf
lrwxrwxrwx 1 root root 29 9月 11 2013/etc/resolv.conf-../run/resolvconf/resolv.conf
说明/etc/resolv.conf其实只是一个link,它实际上指向的是/run/resolvconf/resolv.conf,这也就解释了为什么每次重启都会被重写的原因,你改的只是个link,对原文件没有影响,而每次重启这个link还得加载原文件的内容,所以对link的修改无效。
解决方法就是:修改真实的原文件,如下:
复制代码
代码如下:
sudo vi/etc/resolvconf/resolv.conf.d/head
发现这个文件与/etc/resolv.conf文件一模一样,这就对了,在里面加入你自己的nameserver即可,这样每次重启就不会被重写了。
PS:网上也有人说修改/etc/resolvconf/resolv.conf.d/base这个文件也行,我没有亲自测试,感兴趣的可用自己测试。
说了这么多,各版本的差异看来挺麻烦的,不知道最新的版本或以后的版本会不会又变样了,其实这里有个更简单的与版本无关的方式能够防止resolv.conf文件被重写,那就是方法二。
方法二:与版本无关
前面提到固定IP的上网方式主要是修改/etc/network/interfaces这个文件,配置IP、网关什么的,其实这里面还有个参数可以配置,那就是DNS了,对应的参数名为dns-nameservers,这里设置的优先级比resolv.conf高,也就是网络会从这里读取DNS配置,如果没配置才去看resolv.conf里面的设置,因此在这里面配置DNS更简单。
复制代码
代码如下:
# interfaces(5) file used by ifup(8) and ifdown(8)
auto lo
iface lo inet loopback
auto eth0/ppiface eth0 inet static
address 192.168.1.151
netmask 255.255.255.0
gateway 192.168.1.2
dns-nameservers 202.38.64.1
(4)重启虚拟机网络
配置完成后,重启网络即可,也有好几种方法:
复制代码
代码如下:
sudo service networking restart
或者
sudo/etc/init.d/networking restart
也可以重启网卡:
复制代码
代码如下:
sudo ifconfig eth0 down
sudo ifconfig eth0 up
重启网卡对别的网卡无影响,更推荐一些。
赶紧ping下www.baidu.com吧,应该可以上网了。
PS:当然也可以通过图形界面network manager进行配置,但个人感觉这种方式最好,因此推荐!
如何在ubuntu上安装hadoop
1、创建hadoop管理员帐号
直接在终端执行如下命令行:
1 sudo adduser hadoop
然后要求你设置hadoop帐户密码,这个命令是添加一个名为hadoop的标准帐户,我们需要的是管理员帐号
可以直接在图形界面下修改hadoop权限,将鼠标点击右上角的一个人头处,浮现列表,点击“用户账户”,解锁,然后更改为管理员权限
2、安装ssh服务
ssh可以实现远程登录和管理,详细情况请google百度
ubuntu默认并没有安装ssh服务,如果通过ssh链接ubuntu,需要自己手动安装ssh-server。命令行:
1 sudo apt-get install ssh openssh-server
3、ssh无密码验证登录
创建ssh-key,这里我们采用rsa方式,命令行如下:
1 ssh-keygen-t rsa-P""
出现一个图形,出现的图形就是密码,不用管它
1 cat~/.ssh/id_rsa.pub>> authorized_keys
然后即可无密码验证登录了,如下:
1 ssh localhost
退出命令行为:
exit
4、解压hadoop源码包
终端下进入hadoop源码包所在目录,使用复制命令把hadoop源码包复制到/home/hadoop下
1 cp hadoop-1.2.1.tar.gz/home/hadoop
然后解压,命令行如下
tar-xzvf*.tag.gz
5、配置hadoop的hadoop/conf下的hadoop-env.sh,core-site.xml,mapred-site.xml,hdfs-site.xml
配置hadoop-1.2.1/conf/hadoop-env.sh,命令行:
1 gedit/home/hadoop/hadoop-1.2.1/conf/hadoop-env.sh
ctrl+ f搜索到JAVA_HOME
把前面的#去掉,加上本系统jdk路径,保存退出
配置hadoop-1.2.1/conf/core-site.xml,命令行:
gedit/home/hadoop/hadoop-1.2.1/conf/core-site.xml
在hadoop新建hadoop_tmp目录,
将如下<configuration></configuration>之间的添加进入,保存退出
<?xml version="1.0"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<!-- Put site-specific property overrides in this file.-->
<configuration>
<property>
<name>fs.default.name</name>
<value>hdfs://localhost:9000</value>
</property>
<property>
<name>hadoop.tmp.dir</name>
<value>/home/hadoop/hadoop-1.2.1/hadoop_tmp</value>
<description>A base for other temporary directories.</description>
</property>
</configuration>
配置hadoop-1.2.1/conf/mapre-site.xml,命令行:
1 gedit/home/hadoop/hadoop-1.2.1/conf/mapre-site.xml.xml
将如下<configuration></configuration>之间的添加进入,保存退出
<?xml version="1.0"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<!-- Put site-specific property overrides in this file.-->
<configuration>
<property>
<name>mapred.job.tracker</name>
<value>localhost:9001</value>
</property>
</configuration>
配置hadoop-1.2.1/conf/hdfs-site.xml,命令行:
1 gedit/home/hadoop/hadoop-1.2.1/conf/hdfs-site.xml
将如下<configuration></configuration>之间的添加进入,保存退出
<?xml version="1.0"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<!-- Put site-specific property overrides in this file.-->
<configuration>
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
</configuration>
至此hadoop的安装配置已经完毕,稍后的是hadoop的初次运行操作
6、格式化hdfs文件系统
进入hadoop-1.2.1
/bin/hadoop namenode-format
7、启动hadoop服务
/bin/start-all.sh
出现如下画面
jps
jps是查看java虚拟机运行的java线程
然后出现如下画面
不计jps,有五个hadoop相关线程,恭喜你,hadoop安装配置成功,运行正常。
然后可以退出hadoop。,以后再用时再启动,导入数据