vmware ubuntu hadoop?vmware虚拟机安装ubuntu

大家好,关于vmware ubuntu hadoop很多朋友都还不太明白,今天小编就来为大家分享关于vmware虚拟机安装ubuntu的知识,希望对各位有所帮助!

vmware虚拟机中ubuntu 16.04 详细安装教程附下载地址

安装准备下载地址

ubuntu-16.04下载地址:

  Ubuntu 16.04 LTS官方镜像下载:

  32位:

  64位:

解决方案:

直接删除namenode的配置文件目录,在重新format

1. cd/hadoop/hadoop-1.2.1/bin

2. stop-all.sh

3. cd hdfs

4./hadoop/hadoop-1.2.1/hdfs# rm-rf name

5./hadoop namenode-format

6.再次jps

/hadoop/hadoop-1.2.1/bin# jps

  6208 Jps

  5915 SecondaryNameNode

  5999 JobTracker

  5610 NameNode

  6143 TaskTracker

  5771 DataNode

ubuntu~/.profile

  ~:主文件夹~表示主文件夹.:隐藏文件.表示隐藏文件

  ~/.profile:主文件夹下的隐藏文件profile,个人系统变量设置文件。

安装步骤

英文版安装

中文简体版本安装,分配完成磁盘后,下一步按钮未显示(虚拟机问题)。建议一般安装英文版本;

如果选择简体中文,则系统显示字体为简体中文。

ubuntu命令模式下如何进行复制和粘贴方式

一般来说要看操作环境。不同的SHELL操作环境,快截键可能略有不同。

0.在KDE/Gnome下:

  复制命令:Ctrl+ C

粘贴命令:Ctrl+ V

1.在终端下:

  复制命令:Ctrl+ Shift+ C组合键.

  粘贴命令:Ctrl+ Shift+ V组合键.

2.在控制台下:

  复制命令:Ctrl+ Insert组合键或用鼠标选中即是复制。

  粘贴命令:Shift+ Insert组合键或单击鼠标滚轮即为粘贴。

VM虚拟机中的Ubuntu设置固定IP上网图文教程

但是如果你的机子有特殊用处,比如作为服务器,需要IP地址信息,亦或者像我一样,作为一个云计算的节点,其IP都是在配置文件里配置好的,如果每次重启系统都要跑过去修改下配置文件里的IP,那简直是不可取的做法,因此为虚拟机设置固定IP上网非常的有必要!

  设置固定IP的方法很多,大家都知道虚拟机上网有三种模式:bridged、host-only和NAT,其中NAT模式对应VMnet8虚拟网络,host-only模式对应VMnet1虚拟网络,bridged模式对应 VMnet0虚拟网络,都是由VMware虚拟机自动配置而生成的,不需要用户自行设置。VMnet8和VMnet1提供DHCP服务,VMnet0虚拟网络则不提供。

  由于NAT的方式最简单,因此下面是NAT设置的具体方法。

  测试环境:

  虚拟机版本:VMware Workstation 10

  Ubuntu版本:Ubuntu 12.10/13.04

  1.设置虚拟机上网方式为NAT

  

  2. 配置VMnet8虚拟网络(Virtual Network Editor)

  因为NAT对应的是VMnet8虚拟网络,打开Vmware自带的虚拟网络编辑工具Virtual Network Editor,配置如下:

  

  其中子网IP根据自己情况设置,比如我想设置固定IP地址为192.168.1.151,那么这里的子网IP就填192.168.1.0,另外记得取消DHCP选项服务。

3. 进入到Ubuntu系统中配置网络

主要配置下面三个方面的内容:

  (1)修改文件/etc/network/interfaces,这里是IP、网关、掩码等的一些配置;

  (2)修改文件/etc/resolv.conf,这个文件保存DNS的有关信息;

  (3)解决resolv.conf被重写问题;

  (4)重启虚拟机网络

下面是具体配置方法:

  (1)修改文件/etc/network/interfaces

命令:

复制代码

  

代码如下:

sudo vi/etc/network/interfaces

  或

  sudo gedit/etc/network/interfaces

我的配置如下:

复制代码

  

代码如下:

# interfaces(5) file used by ifup(8) and ifdown(8)

  auto lo

  iface lo inet loopback

  auto eth0/ppiface eth0 inet static

  address 192.168.1.151

  netmask 255.255.255.0

  gateway 192.168.1.2

其中网关gateway要与Virtual Network Editor中“NAT Settings...”中的一致,一般好像都为192.168.xx.2。

  (2)修改文件/etc/resolv.conf

命令:

复制代码

  

代码如下:

sudo vi/etc/resolv.conf

  或

  sudo gedit/etc/resolv.conf[code]

  我的配置如下:

  [code]nameserver 202.38.64.1

当然这里是因人而异了,加上你自己的DNS服务器即可,我的是校内DNS。

  (3)解决resolv.conf被重写问题

第二步中你虽然配置了DNS,但是每次重启虚拟机或重启网络后/etc/resolv.conf文件就会被重写,也就是又恢复原样了,你以前的配置就不存在了,每次都要手动配置是极不可取的,所以这步是必须的,首先我们要搞清楚resolv.conf被重写的原因和机制,这在不同Ubuntu版本下有所差异。那怎么知道呢?一般resolv.conf文件一开头就告诉你了。

  解决该问题其实有两种办法,不怕麻烦的想理解原理的请参照方法一(与版本有关),怕麻烦的不想折腾的自觉转到方法二(与版本无关)。

方法一:与版本有关

  a)Ubuntu 12.10

打开/etc/resolv.conf后可看到开头的一句话:

复制代码

  

代码如下:

# Generated by NetworkManager

说明resolv.conf这个文件是由NetworkManager这个程序生成的(对应的是network-manager服务),那么解决办法也就来了:我们关掉network-manager即可,命令如下:

复制代码

  

代码如下:

sudo service network-manager stop

  或者

  sudo/etc/init.d/network-manager stop

但是这种方法不是一劳永逸的,因为每次重启系统后还是会自动启动这个服务,因此我们需要完全禁止network-manager启动即可。

编辑network manager的配置文件/etc/init/network-manager.conf:

复制代码

  

代码如下:

sudo vi/etc/init/network-manager.conf

注释掉其中的start on部分即可:

复制代码

  

代码如下:

# network-manager- network connection manager

  #

  # The Network Manager daemon manages the system's network connections,

  # automatically switching between the best available./ppdescription"network connection manager"/pp#start on(local-filesystems

  # and started dbus

  # and static-network-up)

  stop on stopping dbus/ppexpect fork

  respawn/ppscript

  # set$LANG so that messages appearing on the GUI will be translated. See LP: 875017

  if [-r/etc/default/locale ]; then

  ./etc/default/locale

  export LANG LANGUAGE LC_MESSAGES LC_ALL

  fi

b)Ubuntu 13.04

不知道Ubuntu从哪个版本开始不是由NetworkManager生成resolv.conf的了,至少在13.04下是这样的,因为resolv.conf开头写着这样一句话:

复制代码

  

代码如下:

# Dynamic resolv.conf(5) file for glibc resolver(3) generated by resolvconf(8)

  # DO NOT EDIT THIS FILE BY HAND-- YOUR CHANGES WILL BE OVERWRITTEN

说是由resolvconf生成,NetworkManager仍然存在,因为它是DHCP上网不可缺少的,但此时禁止NetworkManager启动已经不管用了,因为resolv.conf已经不归它管了,我们试着看看resolv.conf与resolvconf有啥关系,查看:

复制代码

  

代码如下:

hadoop@Master:~$ ll/etc/resolv.conf

  lrwxrwxrwx 1 root root 29 9月 11 2013/etc/resolv.conf-../run/resolvconf/resolv.conf

说明/etc/resolv.conf其实只是一个link,它实际上指向的是/run/resolvconf/resolv.conf,这也就解释了为什么每次重启都会被重写的原因,你改的只是个link,对原文件没有影响,而每次重启这个link还得加载原文件的内容,所以对link的修改无效。

解决方法就是:修改真实的原文件,如下:

复制代码

  

代码如下:

sudo vi/etc/resolvconf/resolv.conf.d/head

发现这个文件与/etc/resolv.conf文件一模一样,这就对了,在里面加入你自己的nameserver即可,这样每次重启就不会被重写了。

PS:网上也有人说修改/etc/resolvconf/resolv.conf.d/base这个文件也行,我没有亲自测试,感兴趣的可用自己测试。

  说了这么多,各版本的差异看来挺麻烦的,不知道最新的版本或以后的版本会不会又变样了,其实这里有个更简单的与版本无关的方式能够防止resolv.conf文件被重写,那就是方法二。

  方法二:与版本无关

前面提到固定IP的上网方式主要是修改/etc/network/interfaces这个文件,配置IP、网关什么的,其实这里面还有个参数可以配置,那就是DNS了,对应的参数名为dns-nameservers,这里设置的优先级比resolv.conf高,也就是网络会从这里读取DNS配置,如果没配置才去看resolv.conf里面的设置,因此在这里面配置DNS更简单。

复制代码

  

代码如下:

# interfaces(5) file used by ifup(8) and ifdown(8)

  auto lo

  iface lo inet loopback

  auto eth0/ppiface eth0 inet static

  address 192.168.1.151

  netmask 255.255.255.0

  gateway 192.168.1.2

  dns-nameservers 202.38.64.1

(4)重启虚拟机网络

配置完成后,重启网络即可,也有好几种方法:

复制代码

  

代码如下:

sudo service networking restart

  或者

  sudo/etc/init.d/networking restart

也可以重启网卡:

复制代码

  

代码如下:

sudo ifconfig eth0 down

  sudo ifconfig eth0 up

重启网卡对别的网卡无影响,更推荐一些。

赶紧ping下www.baidu.com吧,应该可以上网了。

  PS:当然也可以通过图形界面network manager进行配置,但个人感觉这种方式最好,因此推荐!

如何在ubuntu上安装hadoop

1、创建hadoop管理员帐号

直接在终端执行如下命令行:

1 sudo adduser hadoop

然后要求你设置hadoop帐户密码,这个命令是添加一个名为hadoop的标准帐户,我们需要的是管理员帐号

可以直接在图形界面下修改hadoop权限,将鼠标点击右上角的一个人头处,浮现列表,点击“用户账户”,解锁,然后更改为管理员权限

2、安装ssh服务

ssh可以实现远程登录和管理,详细情况请google百度

ubuntu默认并没有安装ssh服务,如果通过ssh链接ubuntu,需要自己手动安装ssh-server。命令行:

1 sudo apt-get install ssh openssh-server

3、ssh无密码验证登录

创建ssh-key,这里我们采用rsa方式,命令行如下:

1 ssh-keygen-t rsa-P""

出现一个图形,出现的图形就是密码,不用管它

1 cat~/.ssh/id_rsa.pub>> authorized_keys

然后即可无密码验证登录了,如下:

1 ssh localhost

退出命令行为:

exit

4、解压hadoop源码包

终端下进入hadoop源码包所在目录,使用复制命令把hadoop源码包复制到/home/hadoop下

1 cp hadoop-1.2.1.tar.gz/home/hadoop

然后解压,命令行如下

tar-xzvf*.tag.gz

5、配置hadoop的hadoop/conf下的hadoop-env.sh,core-site.xml,mapred-site.xml,hdfs-site.xml

配置hadoop-1.2.1/conf/hadoop-env.sh,命令行:

1 gedit/home/hadoop/hadoop-1.2.1/conf/hadoop-env.sh

ctrl+ f搜索到JAVA_HOME

把前面的#去掉,加上本系统jdk路径,保存退出

配置hadoop-1.2.1/conf/core-site.xml,命令行:

gedit/home/hadoop/hadoop-1.2.1/conf/core-site.xml

在hadoop新建hadoop_tmp目录,

将如下<configuration></configuration>之间的添加进入,保存退出

<?xml version="1.0"?>

<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>

<!-- Put site-specific property overrides in this file.-->

<configuration>

<property>

<name>fs.default.name</name>

<value>hdfs://localhost:9000</value>

</property>

<property>

<name>hadoop.tmp.dir</name>

<value>/home/hadoop/hadoop-1.2.1/hadoop_tmp</value>

<description>A base for other temporary directories.</description>

</property>

</configuration>

配置hadoop-1.2.1/conf/mapre-site.xml,命令行:

1 gedit/home/hadoop/hadoop-1.2.1/conf/mapre-site.xml.xml

将如下<configuration></configuration>之间的添加进入,保存退出

<?xml version="1.0"?>

<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>

<!-- Put site-specific property overrides in this file.-->

<configuration>

<property>

<name>mapred.job.tracker</name>

<value>localhost:9001</value>

</property>

</configuration>

配置hadoop-1.2.1/conf/hdfs-site.xml,命令行:

1 gedit/home/hadoop/hadoop-1.2.1/conf/hdfs-site.xml

将如下<configuration></configuration>之间的添加进入,保存退出

<?xml version="1.0"?>

<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>

<!-- Put site-specific property overrides in this file.-->

<configuration>

<property>

<name>dfs.replication</name>

<value>1</value>

</property>

</configuration>

至此hadoop的安装配置已经完毕,稍后的是hadoop的初次运行操作

6、格式化hdfs文件系统

进入hadoop-1.2.1

/bin/hadoop namenode-format

7、启动hadoop服务

/bin/start-all.sh

出现如下画面

jps

jps是查看java虚拟机运行的java线程

然后出现如下画面

不计jps,有五个hadoop相关线程,恭喜你,hadoop安装配置成功,运行正常。

然后可以退出hadoop。,以后再用时再启动,导入数据

阅读剩余
THE END