centos 编译hadoop,ubuntu安装hadoop教程

大家好,感谢邀请,今天来为大家分享一下centos 编译hadoop的问题,以及和ubuntu安装hadoop教程的一些困惑,大家要是还不太明白的话,也没有关系,因为接下来将为大家分享,希望可以帮助到大家,解决大家的问题,下面就开始吧!

基于CentOS6.4环境编译Spark-2.1.0源码

基于 CentOS6.4环境编译 Spark-2.1.0源码

本文探讨在实际开发实践中,有时直接使用 Spark官方提供的安装包可能无法满足特定需求。为深入理解 Spark并更灵活地使用其功能,学习根据源码进行编译显得尤为重要。

在进行 Spark源码编译前,确保系统已安装 Java 7,并选择合适的版本,例如 JDK 1.7.0_51。将所有软件安装在用户根目录下的 app文件夹内。接下来,安装 Maven 3.3.9,下载并根据官方指南进行安装。

接着,前往 Spark官网下载 Spark-2.1.0源码包。解压后,将根据官方文档中的介绍使用 dev目录下的 make-distribution.sh脚本来编译源码。在编译过程中,可自定义参数以适应特定环境,如指定的 Hadoop版本、运行环境(如 YARN)以及支持的工具(如 Hive)。

编译完成后,会在 Spark源码根目录生成一个包含所需配置的安装包,例如 spark-2.1.0-bin-2.6.0-cdh5.7.0.tgz。此包即为编译结果,可用于安装 Spark。

理解编译生成安装包的命名逻辑,对于优化 Spark配置至关重要。在 make-distribution.sh脚本的末尾,可以看到用于生成安装包名的代码块,其依据 Spark版本和编译时指定的参数进行命名。

在编译过程中,可能遇到依赖包下载时间过长的问题,这通常由于网络不稳定导致。此时,可尝试中断编译进程,稍后重新运行命令,或开启虚拟专用网络(VPN)以优化网络环境,从而加速编译过程。

遵循以上步骤,结合对官方文档的深入理解,可实现对 Spark源码的高效编译和优化。此过程不仅有助于提高对 Spark的掌握程度,还能针对特定需求定制 Spark配置,提高开发效率。

cocos2d-x 2.2能编译64位的吗

hadoop2.x在apache官网直接下载的并没有64位直接能用的版本,如果我们想在64位系统使用,那么就需要重新编译hadoop,否则直接使用32位的hadoop运行在64位的系统上,将会出现一些库不兼容的异常。如下图所示,最直接的一个异常:

在这之前,散仙先用一个表格来描述下散仙的编译的环境的状况:

序号描述备注

1 centos6.5系统64位 linux环境

2 Apache Ant1.9 ant编译

3 Apache Maven3.2.1 maven打包部署

4 gcc,gcc-c,make依赖库

5 protobuf-2.5.0序列化库

6 JDK1.7 JAVA环境

7 Hadoop2.5.0源码包官网下载

8菜鸟工程师一名主角

9

下面进入正题,散仙的环境是在centos下,所以大部分安装编译依赖库,都可以很方便的使用yum命令来完成。

1,安装gcc,执行如下的几个yum命令即可

Java代码

yum-y install gcc

yum-y install gcc-c

yum install make

yum install autoconf automake libtool cmake ncurses-devel openssl-devel gcc*

2,安装JDK,并设置环境变量,完成后测试安装成功否

Java代码

[root@ganglia~]# java-version

java version"1.5.0"

gij(GNU libgcj) version 4.4.7 20120313(Red Hat 4.4.7-4)

Copyright(C) 2007 Free Software Foundation, Inc.

This is free software; see the source for copying conditions. There is NO

warranty; not even for MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.

[root@ganglia~]#

3,安装Maven,安装完成后测试安装与否

Java代码

[root@ganglia~]# mvn-v

Apache Maven 3.2.1(ea8b2b07643dbb1b84b6d16e1f08391b666bc1e9; 2014-02-15T01:37:52 08:00)

Maven home:/usr/local/maven

Java version: 1.7.0_25, vendor: Oracle Corporation

Java home:/usr/local/jdk1.7.0_25/jre

Default locale: zh_CN, platform encoding: UTF-8

linux服务器,用centOS还是Ubuntu Server更好一点

linux服务器系统多使用CentOS、uBuntu、Gentoo、FreeBSD、Debian。服务器操作系统应该选择 Ubuntu还是 CentOS,CentOS目前市场占有率第一。

根据Linux服务器搭建的环境来选择:

nginx+php+mysql选择freebsd

tomcat+jsp+orcal选择ubuntu

apache+php+mysql选择centos

如果没有专门的服务器运维人员,Ubuntu更合适,根据VPS服务商统计,超过75%都在用Ubuntu/Debian,用CentOS的不足20%。

57% of deployments are Ubuntu

18% of deployments are Debian

16% of deployments are CentOS

3.1% of deployments are Fedora

1.9% of deployments are Gentoo

多数Linux开发者使用的是Ubuntu的桌面版,倾向在开发生产时使用相同的系统,并且还能使用很多工具。但总体上来说技术允许下,RHEL/CentOS是一个更优越的服务器部署平台,

阅读剩余
THE END