centos安装dfs，centos8安装图形界面

2025-1-9

各位老铁们好，相信很多人对centos安装dfs都不是特别的了解，因此呢，今天就来为大家分享下关于centos安装dfs以及centos8安装图形界面的问题知识，还望可以帮助大家，解决大家的一些困惑，下面一起来看看吧！

Centos7 环境下Docker搭建FastDfs 环境及配置

在疫情期间参与一个项目，负责开发小程序及PC后台模块，包含文档处理功能，为了统一处理，开发了一个基于FastDFS的通用模块。FastDFS是一个分布式文件存储系统，非常适合用于分布式项目。本文将指导在CentOS 7.6环境下，利用Docker搭建并配置FastDFS环境。

选择Docker搭建FastDFS主要有两种方式：便捷高效的方式和环境迁移不便的方式。这里推荐使用Docker搭建。

第一步，查看FastDFS的镜像：

docker search fastdfs

第二步，拉取镜像：

docker pull delron/fastdfs

接着，分别启动Tracker和Storage服务：

1.启动Tracker服务：

docker run-d--network=host--name tracker-v/home/tracker:/var/fdfs delron/fastdfs tracker

2.启动Storage服务：

docker run-d--network=host--name storage-e TRACKER_SERVER=服务器公网IP:22122-v/home/storage:/var/fdfs-e GROUP_NAME=group1 delron/fastdfs storage

需要注意的是，配置Tracker服务时使用服务器公网IP，并非内网IP，避免因项目API连接问题导致服务连接超时。

然后，使用docker ps检查容器状态，并进入Storage容器：

docker exec-it storage bash

进入容器后，将发现正处在Nginx文件夹下。此为FastDFS容器自带的Nginx，因当前处于容器内部，无法通过xftp访问文件夹路径。

FastDFS默认有三个端口：8888、23000、22122。8888为Nginx代理端口，23000为Storage服务端口，22122为Tracker服务端口。为了成功上传图片，需要开放这三个端口。

使用firewall命令开放端口：

firewall-cmd--zone=public--permanent--add-port=23000/tcp

firewall-cmd--zone=public--permanent--add-port=22122/tcp

firewall-cmd--zone=public--permanent--add-port=8888/tcp

接下来，为避免使用默认端口8888可能带来的冲突，可将其修改为其他端口。通过编辑配置文件：

vi/etc/fdfs/storage.conf

和修改Nginx配置文件：

vi/usr/local/nginx/conf/nginx.conf

完成修改后，重启容器以使端口生效，并开启8001端口：

docker restart storage bash

随后，通过xftp查看/home文件夹，并上传一张图片如1.jpg。

上传图片至FastDFS服务后，通过浏览器访问ip:8001/查看上传效果。

在上传成功的基础上，确保服务器安全组中添加了需要的端口，并测试API访问。若不通，可能需要在安全组中添加Tracker服务器的IP，并设置成外网IP。此外，服务器性能与带宽也影响文件上传与下载的速度。

centos 6.5怎么搭建hadoop2.7.3

总体思路，准备主从服务器，配置主服务器可以无密码SSH登录从服务器，解压安装JDK，解压安装Hadoop，配置hdfs、mapreduce等主从关系。

1、环境，3台CentOS6.5，64位，Hadoop2.7.3需要64位Linux，操作系统十几分钟就可以安装完成，

Master 192.168.0.182

Slave1 192.168.0.183

Slave2 192.168.0.184

2、SSH免密码登录，因为Hadoop需要通过SSH登录到各个节点进行操作，我用的是root用户，每台服务器都生成公钥，再合并到authorized_keys

(1)CentOS默认没有启动ssh无密登录，去掉/etc/ssh/sshd_config其中2行的注释，每台服务器都要设置，

#RSAAuthentication yes

#PubkeyAuthentication yes

(2)输入命令，ssh-keygen-t rsa，生成key，都不输入密码，一直回车，/root就会生成.ssh文件夹，每台服务器都要设置，

(3)合并公钥到authorized_keys文件，在Master服务器，进入/root/.ssh目录，通过SSH命令合并，

cat id_rsa.pub>> authorized_keys

ssh root@192.168.0.183 cat~/.ssh/id_rsa.pub>> authorized_keys

ssh root@192.168.0.184 cat~/.ssh/id_rsa.pub>> authorized_keys

(4)把Master服务器的authorized_keys、known_hosts复制到Slave服务器的/root/.ssh目录

(5)完成，ssh root@192.168.0.183、ssh root@192.168.0.184就不需要输入密码了

3、安装JDK，Hadoop2.7需要JDK7，由于我的CentOS是最小化安装，所以没有OpenJDK，直接解压下载的JDK并配置变量即可

(1)下载“jdk-7u79-linux-x64.gz”，放到/home/java目录下

(2)解压，输入命令，tar-zxvf jdk-7u79-linux-x64.gz

(3)编辑/etc/profile

export JAVA_HOME=/home/java/jdk1.7.0_79

export CLASSPATH=.:$JAVA_HOME/jre/lib/rt.jar:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar

export PATH=$PATH:$JAVA_HOME/bin

(4)使配置生效，输入命令，source/etc/profile

(5)输入命令，java-version，完成

4、安装Hadoop2.7，只在Master服务器解压，再复制到Slave服务器

(1)下载“hadoop-2.7.0.tar.gz”，放到/home/hadoop目录下

(2)解压，输入命令，tar-xzvf hadoop-2.7.0.tar.gz

(3)在/home/hadoop目录下创建数据存放的文件夹，tmp、hdfs、hdfs/data、hdfs/name

5、配置/home/hadoop/hadoop-2.7.0/etc/hadoop目录下的core-site.xml

<name>fs.defaultFS</name>

</property>

<name>hadoop.tmp.dir</name>

<value>file:/home/hadoop/tmp</value>

</property>

<name>io.file.buffer.size</name>

</property>

</configuration>

6、配置/home/hadoop/hadoop-2.7.0/etc/hadoop目录下的hdfs-site.xml

<name>dfs.namenode.name.dir</name>

<value>file:/home/hadoop/dfs/name</value>

</property>

<name>dfs.datanode.data.dir</name>

<value>file:/home/hadoop/dfs/data</value>

</property>

<name>dfs.replication</name>

</property>

<name>dfs.namenode.secondary.http-address</name>

</property>

<name>dfs.webhdfs.enabled</name>

</property>

</configuration>

7、配置/home/hadoop/hadoop-2.7.0/etc/hadoop目录下的mapred-site.xml

<name>mapreduce.framework.name</name>

</property>

<name>mapreduce.jobhistory.address</name>

</property>

<name>mapreduce.jobhistory.webapp.address</name>

</property>

</configuration>

8、配置/home/hadoop/hadoop-2.7.0/etc/hadoop目录下的mapred-site.xml

<name>yarn.nodemanager.aux-services</name>

<value>mapreduce_shuffle</value>

</property>

<name>yarn.nodemanager.auxservices.mapreduce.shuffle.class</name>

<value>org.apache.hadoop.mapred.ShuffleHandler</value>

</property>

<name>yarn.resourcemanager.address</name>

</property>

<name>yarn.resourcemanager.scheduler.address</name>

</property>

<name>yarn.resourcemanager.resource-tracker.address</name>

</property>

<name>yarn.resourcemanager.admin.address</name>

</property>

<name>yarn.resourcemanager.webapp.address</name>

</property>

<name>yarn.nodemanager.resource.memory-mb</name>

</property>

</configuration>

9、配置/home/hadoop/hadoop-2.7.0/etc/hadoop目录下hadoop-env.sh、yarn-env.sh的JAVA_HOME，不设置的话，启动不了，

export JAVA_HOME=/home/java/jdk1.7.0_79

10、配置/home/hadoop/hadoop-2.7.0/etc/hadoop目录下的slaves，删除默认的localhost，增加2个从节点，

192.168.0.183

192.168.0.184

11、将配置好的Hadoop复制到各个节点对应位置上，通过scp传送，

scp-r/home/hadoop 192.168.0.183:/home/

scp-r/home/hadoop 192.168.0.184:/home/

12、在Master服务器启动hadoop，从节点会自动启动，进入/home/hadoop/hadoop-2.7.0目录

(1)初始化，输入命令，bin/hdfs namenode-format

注意：执行这步的时候可能会报一个错误：

java.net.UnknownHostException: tiancunPC: tiancunPC: unknown error

at java.net.InetAddress.getLocalHost(InetAddress.java:1505)

at org.apache.hadoop.net.DNS.resolveLocalHostname(DNS.java:264)

at org.apache.hadoop.net.DNS.<clinit>(DNS.java:57)

at org.apache.hadoop.hdfs.server.namenode.NNStorage.newBlockPoolID(NNStorage.java:982)

at org.apache.hadoop.hdfs.server.namenode.NNStorage.newNamespaceInfo(NNStorage.java:591)

at org.apache.hadoop.hdfs.server.namenode.FSImage.format(FSImage.java:157)

at org.apache.hadoop.hdfs.server.namenode.NameNode.format(NameNode.java:992)

at org.apache.hadoop.hdfs.server.namenode.NameNode.createNameNode(NameNode.java:1434)

at org.apache.hadoop.hdfs.server.namenode.NameNode.main(NameNode.java:1559)

Caused by: java.net.UnknownHostException: tiancunPC: unknown error

at java.net.Inet4AddressImpl.lookupAllHostAddr(Native Method)

at java.net.InetAddress$2.lookupAllHostAddr(InetAddress.java:928)

at java.net.InetAddress.getAddressesFromNameService(InetAddress.java:1323)

at java.net.InetAddress.getLocalHost(InetAddress.java:1500)

... 8 more

16/11/11 19:15:23 WARN net.DNS: Unable to determine address of the host-falling back to"localhost" address

java.net.UnknownHostException: tiancunPC: tiancunPC: unknown error

at java.net.InetAddress.getLocalHost(InetAddress.java:1505)

at org.apache.hadoop.net.DNS.resolveLocalHostIPAddress(DNS.java:287)

at org.apache.hadoop.net.DNS.<clinit>(DNS.java:58)