centos 编译hadoop,ubuntu安装hadoop教程
大家好,感谢邀请,今天来为大家分享一下centos 编译hadoop的问题,以及和ubuntu安装hadoop教程的一些困惑,大家要是还不太明白的话,也没有关系,因为接下来将为大家分享,希望可以帮助到大家,解决大家的问题,下面就开始吧!
基于CentOS6.4环境编译Spark-2.1.0源码
基于 CentOS6.4环境编译 Spark-2.1.0源码
本文探讨在实际开发实践中,有时直接使用 Spark官方提供的安装包可能无法满足特定需求。为深入理解 Spark并更灵活地使用其功能,学习根据源码进行编译显得尤为重要。
在进行 Spark源码编译前,确保系统已安装 Java 7,并选择合适的版本,例如 JDK 1.7.0_51。将所有软件安装在用户根目录下的 app文件夹内。接下来,安装 Maven 3.3.9,下载并根据官方指南进行安装。
接着,前往 Spark官网下载 Spark-2.1.0源码包。解压后,将根据官方文档中的介绍使用 dev目录下的 make-distribution.sh脚本来编译源码。在编译过程中,可自定义参数以适应特定环境,如指定的 Hadoop版本、运行环境(如 YARN)以及支持的工具(如 Hive)。
编译完成后,会在 Spark源码根目录生成一个包含所需配置的安装包,例如 spark-2.1.0-bin-2.6.0-cdh5.7.0.tgz。此包即为编译结果,可用于安装 Spark。
理解编译生成安装包的命名逻辑,对于优化 Spark配置至关重要。在 make-distribution.sh脚本的末尾,可以看到用于生成安装包名的代码块,其依据 Spark版本和编译时指定的参数进行命名。
在编译过程中,可能遇到依赖包下载时间过长的问题,这通常由于网络不稳定导致。此时,可尝试中断编译进程,稍后重新运行命令,或开启虚拟专用网络(VPN)以优化网络环境,从而加速编译过程。
遵循以上步骤,结合对官方文档的深入理解,可实现对 Spark源码的高效编译和优化。此过程不仅有助于提高对 Spark的掌握程度,还能针对特定需求定制 Spark配置,提高开发效率。
cocos2d-x 2.2能编译64位的吗
hadoop2.x在apache官网直接下载的并没有64位直接能用的版本,如果我们想在64位系统使用,那么就需要重新编译hadoop,否则直接使用32位的hadoop运行在64位的系统上,将会出现一些库不兼容的异常。如下图所示,最直接的一个异常:
在这之前,散仙先用一个表格来描述下散仙的编译的环境的状况:
序号描述备注
1 centos6.5系统64位 linux环境
2 Apache Ant1.9 ant编译
3 Apache Maven3.2.1 maven打包部署
4 gcc,gcc-c,make依赖库
5 protobuf-2.5.0序列化库
6 JDK1.7 JAVA环境
7 Hadoop2.5.0源码包官网下载
8菜鸟工程师一名主角
9
下面进入正题,散仙的环境是在centos下,所以大部分安装编译依赖库,都可以很方便的使用yum命令来完成。
1,安装gcc,执行如下的几个yum命令即可
Java代码
yum-y install gcc
yum-y install gcc-c
yum install make
yum install autoconf automake libtool cmake ncurses-devel openssl-devel gcc*
2,安装JDK,并设置环境变量,完成后测试安装成功否
Java代码
[root@ganglia~]# java-version
java version"1.5.0"
gij(GNU libgcj) version 4.4.7 20120313(Red Hat 4.4.7-4)
Copyright(C) 2007 Free Software Foundation, Inc.
This is free software; see the source for copying conditions. There is NO
warranty; not even for MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.
[root@ganglia~]#
3,安装Maven,安装完成后测试安装与否
Java代码
[root@ganglia~]# mvn-v
Apache Maven 3.2.1(ea8b2b07643dbb1b84b6d16e1f08391b666bc1e9; 2014-02-15T01:37:52 08:00)
Maven home:/usr/local/maven
Java version: 1.7.0_25, vendor: Oracle Corporation
Java home:/usr/local/jdk1.7.0_25/jre
Default locale: zh_CN, platform encoding: UTF-8
linux服务器,用centOS还是Ubuntu Server更好一点
linux服务器系统多使用CentOS、uBuntu、Gentoo、FreeBSD、Debian。服务器操作系统应该选择 Ubuntu还是 CentOS,CentOS目前市场占有率第一。
根据Linux服务器搭建的环境来选择:
nginx+php+mysql选择freebsd
tomcat+jsp+orcal选择ubuntu
apache+php+mysql选择centos
如果没有专门的服务器运维人员,Ubuntu更合适,根据VPS服务商统计,超过75%都在用Ubuntu/Debian,用CentOS的不足20%。
57% of deployments are Ubuntu
18% of deployments are Debian
16% of deployments are CentOS
3.1% of deployments are Fedora
1.9% of deployments are Gentoo
多数Linux开发者使用的是Ubuntu的桌面版,倾向在开发生产时使用相同的系统,并且还能使用很多工具。但总体上来说技术允许下,RHEL/CentOS是一个更优越的服务器部署平台,