centos 配置spark centos7卸载软件命令
基于CentOS6.4环境编译Spark-2.1.0源码
基于 CentOS6.4环境编译 Spark-2.1.0源码
本文探讨在实际开发实践中，有时直接使用 Spark官方提供的安装包可能无法满足特定需求。为深入理解 Spark并更灵活地使用其功能，学习根据源码进行编译显得尤为重要。
在进行 Spark源码编译前，确保系统已安装 Java 7，并选择合适的版本，例如 JDK 1.7.0_51。将所有软件安装在用户根目录下的 app文件夹内。接下来，安装 Maven 3.3.9，下载并根据官方指南进行安装。
接着，前往 Spark官网下载 Spark-2.1.0源码包。解压后，将根据官方文档中的介绍使用 dev目录下的 make-distribution.sh脚本来编译源码。在编译过程中，可自定义参数以适应特定环境，如指定的 Hadoop版本、运行环境（如 YARN）以及支持的工具（如 Hive）。
编译完成后，会在 Spark源码根目录生成一个包含所需配置的安装包，例如 spark-2.1.0-bin-2.6.0-cdh5.7.0.tgz。此包即为编译结果，可用于安装 Spark。
理解编译生成安装包的命名逻辑，对于优化 Spark配置至关重要。在 make-distribution.sh脚本的末尾，可以看到用于生成安装包名的代码块，其依据 Spark版本和编译时指定的参数进行命名。
在编译过程中，可能遇到依赖包下载时间过长的问题，这通常由于网络不稳定导致。此时，可尝试中断编译进程，稍后重新运行命令，或开启虚拟专用网络（VPN）以优化网络环境，从而加速编译过程。
遵循以上步骤，结合对官方文档的深入理解，可实现对 Spark源码的高效编译和优化。此过程不仅有助于提高对 Spark的掌握程度，还能针对特定需求定制 Spark配置，提高开发效率。
CentOS7安装pyspark(python3)
本文档详细记录了在CentOS7的最小化系统虚拟机中安装pyspark的步骤，涉及的版本均为2019年1月的最新版，包括Java 1.8.0，Hadoop 3.0.3，Python 3.7.2和Spark 2.4.0。
首先，从下载链接下载所有需要的软件包，存储在/root/download目录下，然后在/usr/local目录下进行安装。在CentOS 7的配置中，要确保网络连接自动启动，设置静态IP，并安装wget以进行后续操作。
安装Java时，将下载的文件解压到/usr/local/java，然后编辑环境变量文件。通过检查是否显示Java安装成功，确认安装过程已成功。
安装Hadoop，将文件解压到/usr/local/hadoop，编辑环境变量，配置文件中的路径和用户设置，初始化HDFS文件系统，创建hadoop3用户，并设置SSH免密码登录。启动HDFS和YARN后，可通过jps命令验证服务运行，并关闭防火墙服务以允许外部访问。
Python3的安装则需要添加必要的软件源，进行解压和编译，创建python3和pip3的软链接，并确认安装成功。编辑yum和urlgrabber-ext-down以适应Python3环境。
最后，编辑/etc/profile，为pyspark设置环境变量，启动Spark后，看到Spark界面即表示安装完成。
Hive_on_Spark安装配置详解
本文详细记录了如何安装与配置Hive on Spark。在执行以下步骤之前，请确认已经安装了Hadoop集群、Hive、MySQL、JDK、Scala与Spark。
Hive默认使用MapReduce作为执行引擎，而Hive on Spark与Hive on Tez相比，提供了更快的执行速度。为了对比Hive on Spark与Hive on mr的速度，需要在已安装Hadoop集群的机器上安装Spark集群，并将Hive的执行引擎设置为Spark。
Spark运行模式包括Spark on YARN、Standalone Mode与Spark on Mesos。Hive on Spark默认支持Spark on YARN模式，因此选择此模式。Spark on YARN使用YARN作为资源管理器，分为Cluster与Client两种模式。
在开始编译与安装Spark前，请确保系统环境满足要求，包括CentOS 7.2、Hadoop 2.6.0、Hive 1.1.0、Spark 1.5.0、MySQL 5.6、JDK 1.8与Maven 3.3.3等。同时，各节点的规划也需提前安排好。
编译与安装Spark时，需下载源码并指定不包含Hive的版本，以确保Hive on Spark的兼容性。此过程中，需注意网络状况，以避免编译失败。配置Spark与YARN时，需对spark-env.sh、slaves与spark-defaults.conf三个文件进行调整，并确保Spark集群能正常运行。
最后，验证安装配置是否成功，通过启动Spark集群，执行Spark任务，以及在Hive CLI中设置执行引擎为Spark，创建并查询表等操作，确保Hive on Spark能正常工作。
