ubuntu的hive安装？ubuntu镜像安装

2025-1-10

大家好，关于ubuntu的hive安装很多朋友都还不太明白，今天小编就来为大家分享关于ubuntu镜像安装的知识，希望对各位有所帮助！

解决Ubuntu22安装MySQL出现的问题

在 Ubuntu 22中，若成功安装 MySQL 8.0但未收到初始密码时，请依照以下步骤操作，确认根账号的插件为'caching_sha2_password'。若确实如此，可先更改插件。

执行相应命令，替换"new_password"为您选择的新密码。执行完毕后，应该能使用该新密码登录 MySQL。

若执行过程中返回特定信息或遭遇其他问题，请继续阅读进一步的解决方案。

当在使用 ALTER USER命令时遇到报错「ERROR 1396(HY000): Operation ALTER USER failed」针对'hive'@'localhost'的情况，通常的原因可能是尝试修改一个不存在的用户，或者已创建的用户可能没有正确权限。以下步骤有助于解决问题：

以 root身份登录到 MySQL服务器，通过输入密码确认登录。

检查已存在用户列表。使用命令查看数据库中所有用户。

若'hive'用户不存在，请执行创建用户命令。

更改新创建用户的身份验证插件为'mysql_native_password'。替换用户名和新密码。

随后，授予该用户所有权限。接着刷新权限使之生效。

执行以上步骤之后，应该能够成功修改用户的验证插件、设置新密码并分配所有权限。至此，您可以安全地使用此账户。

在处理"MismathcedTokenException(-1!=361)"报错针对"hive"数据库的特殊情况时，如果确认数据库名为"hive"，则可能遇到的程序实现中的语法问题或版本不兼容错误。请先检查并确保执行语句语法正确、匹配所使用的 MySQL版本或环境需求。同时，确认数据库配置和权限设置均无误，以确保后续操作能顺利进行。

什么是impala,如何安装使用Impala

Impala简介：Cloudera Impala对你存储在Apache Hadoop在HDFS，HBase的数据提供直接查询互动的SQL。除了像Hive使用相同的统一存储平台，Impala也使用相同的元数据，SQL语法（Hive SQL），ODBC驱动程序和用户界面（Hue Beeswax）。Impala还提供了一个熟悉的面向批量或实时查询和统一平台。

Impala安装：

1.安装要求

（1）软件要求

Red Hat Enterprise Linux(RHEL)/CentOS 6.2(64-bit)

CDH 4.1.0 or later

Hive

MySQL

注意：Impala不支持在Debian/Ubuntu, SuSE, RHEL/CentOS 5.7系统中安装。

（2）硬件要求

在Join查询过程中需要将数据集加载内存中进行计算，因此对安装Impalad的内存要求较高。

2、安装准备

（1）操作系统版本查看

>more/etc/issue

CentOSrelease 6.2(Final)

Kernel \ron an \m

（2）机器准备

10.28.169.112mr5

10.28.169.113mr6

10.28.169.114mr7

10.28.169.115mr8

各机器安装角色

mr5：NameNode、ResourceManager、SecondaryNameNode、Hive、impala-state-store

mr6、mr7、mr8：DataNode、NodeManager、impalad

（3）用户准备

在各个机器上新建用户hadoop，并打通ssh

（4）软件准备

到cloudera官网下载：

Hadoop：

hadoop-2.0.0-cdh4.1.2.tar.gz

hive：

hive-0.9.0-cdh4.1.2.tar.gz

impala：

impala-0.3-1.p0.366.el6.x86_64.rpm

impala-debuginfo-0.3-1.p0.366.el6.x86_64.rpm

impala-server-0.3-1.p0.366.el6.x86_64.rpm

impala-shell-0.3-1.p0.366.el6.x86_64.rpm

4、hadoop-2.0.0-cdh4.1.2安装

（1）安装包准备

hadoop用户登录到mr5机器，将hadoop-2.0.0-cdh4.1.2.tar.gz上传到/home/hadoop/目录下并解压：

tar zxvf hadoop-2.0.0-cdh4.1.2.tar.gz

（2）配置环境变量

修改mr5机器hadoop用户主目录/home/hadoop/下的.bash_profile环境变量：

exportJAVA_HOME=/usr/jdk1.6.0_30

exportJAVA_BIN=${JAVA_HOME}/bin

exportCLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar

exportJAVA_OPTS="-Djava.library.path=/usr/local/lib-server-Xms1024m-Xmx2048m-XX:MaxPermSize=256m-Djava.awt.headless=true-Dsun.net.client.defaultReadTimeout=600

00-Djmagick.systemclassloader=no-Dnetworkaddress.cache.ttl=300-Dsun.net.inetaddr.ttl=300"

exportHADOOP_HOME=/home/hadoop/hadoop-2.0.0-cdh4.1.2

exportHADOOP_PREFIX=$HADOOP_HOME

exportHADOOP_MAPRED_HOME=${HADOOP_HOME}

exportHADOOP_COMMON_HOME=${HADOOP_HOME}

exportHADOOP_HDFS_HOME=${HADOOP_HOME}

exportHADOOP_YARN_HOME=${HADOOP_HOME}

export PATH=$PATH:${JAVA_HOME}/bin:${HADOOP_HOME}/bin:${HADOOP_HOME}/sbin

exportJAVA_HOME JAVA_BIN PATH CLASSPATH JAVA_OPTS

exportHADOOP_LIB=${HADOOP_HOME}/lib

exportHADOOP_CONF_DIR=${HADOOP_HOME}/etc/hadoop

（3）修改配置文件

在机器mr5上hadoop用户登录修改hadoop的配置文件(配置文件目录：hadoop-2.0.0-cdh4.1.2/etc/hadoop)

(1)、slaves:

添加以下节点

mr6

mr7

mr8

(2)、hadoop-env.sh:

增加以下环境变量

exportJAVA_HOME=/usr/jdk1.6.0_30

exportHADOOP_HOME=/home/hadoop/hadoop-2.0.0-cdh4.1.2

exportHADOOP_PREFIX=${HADOOP_HOME}

export HADOOP_MAPRED_HOME=${HADOOP_HOME}

exportHADOOP_COMMON_HOME=${HADOOP_HOME}

exportHADOOP_HDFS_HOME=${HADOOP_HOME}

exportHADOOP_YARN_HOME=${HADOOP_HOME}

exportPATH=$PATH:${JAVA_HOME}/bin:${HADOOP_HOME}/bin:${HADOOP_HOME}/sbin

exportJAVA_HOME JAVA_BIN PATH CLASSPATH JAVA_OPTS

exportHADOOP_LIB=${HADOOP_HOME}/lib

exportHADOOP_CONF_DIR=${HADOOP_HOME}/etc/hadoop

(3)、core-site.xml:

fs.default.name

hdfs://mr5:9000

The name of the defaultfile system.Either the literal string"local" or a host:port forNDFS.

true

io.native.lib.available

true

hadoop.tmp.dir

/home/hadoop/tmp

A base for other temporarydirectories.

(4)、hdfs-site.xml:

dfs.namenode.name.dir

file:/home/hadoop/dfsdata/name

Determines where on thelocal filesystem the DFS name node should store the name table.If this is acomma-delimited list of directories,then name table is replicated in all of thedirectories,for redundancy.

true

dfs.datanode.data.dir

file:/home/hadoop/dfsdata/data

Determines where on thelocal filesystem an DFS data node should store its blocks.If this is acomma-delimited list of directories,then data will be stored in all nameddirectories,typically on different devices.Directories that do not exist areignored.

true

dfs.replication

3

dfs.permission

false

(5)、mapred-site.xml:

mapreduce.framework.name

yarn

mapreduce.job.tracker

hdfs://mr5:9001

true

mapreduce.task.io.sort.mb

512

mapreduce.task.io.sort.factor

100

mapreduce.reduce.shuffle.parallelcopies

50

mapreduce.cluster.temp.dir

file:/home/hadoop/mapreddata/system

true

mapreduce.cluster.local.dir

file:/home/hadoop/mapreddata/local

true

(6)、yarn-env.sh:

增加以下环境变量

exportJAVA_HOME=/usr/jdk1.6.0_30

exportHADOOP_HOME=/home/hadoop/hadoop-2.0.0-cdh4.1.2

exportHADOOP_PREFIX=${HADOOP_HOME}

exportHADOOP_MAPRED_HOME=${HADOOP_HOME}

exportHADOOP_COMMON_HOME=${HADOOP_HOME}

exportHADOOP_HDFS_HOME=${HADOOP_HOME}

exportHADOOP_YARN_HOME=${HADOOP_HOME}

exportPATH=$PATH:${JAVA_HOME}/bin:${HADOOP_HOME}/bin:${HADOOP_HOME}/sbin

exportJAVA_HOME JAVA_BIN PATH CLASSPATH JAVA_OPTS

exportHADOOP_LIB=${HADOOP_HOME}/lib

exportHADOOP_CONF_DIR=${HADOOP_HOME}/etc/hadoop

(7)、yarn-site.xml：

yarn.resourcemanager.address

mr5:8080

yarn.resourcemanager.scheduler.address

mr5:8081

yarn.resourcemanager.resource-tracker.address

mr5:8082

yarn.nodemanager.aux-services

mapreduce.shuffle

yarn.nodemanager.aux-services.mapreduce.shuffle.class

org.apache.hadoop.mapred.ShuffleHandler

yarn.nodemanager.local-dirs

file:/home/hadoop/nmdata/local

thelocal directories used by the nodemanager

yarn.nodemanager.log-dirs

file:/home/hadoop/nmdata/log

thedirectories used by Nodemanagers as log directories

（4）拷贝到其他节点

(1)、在mr5上配置完第2步和第3步后，压缩hadoop-2.0.0-cdh4.1.2

rm hadoop-2.0.0-cdh4.1.2.tar.gz

tarzcvf hadoop-2.0.0-cdh4.1.2.tar.gzhadoop-2.0.0-cdh4.1.2

然后将hadoop-2.0.0-cdh4.1.2.tar.gz远程拷贝到mr6、mr7、mr8机器上

scp/home/hadoop/hadoop-2.0.0-cdh4.1.2.tar.gz hadoop@mr6:/home/hadoop/

scp/home/hadoop/hadoop-2.0.0-cdh4.1.2.tar.gz hadoop@mr7:/home/hadoop/

scp/home/hadoop/hadoop-2.0.0-cdh4.1.2.tar.gz hadoop@mr8:/home/hadoop/

(2)、将mr5机器上hadoop用户的配置环境的文件.bash_profile远程拷贝到mr6、mr7、mr8机器上

scp/home/hadoop/.bash_profile hadoop@mr6:/home/hadoop/

scp/home/hadoop/.bash_profile hadoop@mr7:/home/hadoop/

scp/home/hadoop/.bash_profile hadoop@mr8:/home/hadoop/

拷贝完成后，在mr5、mr6、mr7、mr8机器的/home/hadoop/目录下执行

source.bash_profile

使得环境变量生效

（5）启动hdfs和yarn

以上步骤都执行完成后，用hadoop用户登录到mr5机器依次执行：

hdfsnamenode-format

start-dfs.sh

start-yarn.sh

通过jps命令查看：

mr5成功启动了NameNode、ResourceManager、SecondaryNameNode进程；

mr6、mr7、mr8成功启动了DataNode、NodeManager进程。

（6）验证成功状态

通过以下方式查看节点的健康状态和作业的执行情况：

浏览器访问(本地需要配置hosts)

5、hive-0.9.0-cdh4.1.2安装

（1）安装包准备

使用hadoop用户上传hive-0.9.0-cdh4.1.2到mr5机器的/home/hadoop/目录下并解压：

tar zxvf hive-0.9.0-cdh4.1.2

（2）配置环境变量

在.bash_profile添加环境变量：

exportHIVE_HOME=/home/hadoop/hive-0.9.0-cdh4.1.2

exportPATH=$PATH:${JAVA_HOME}/bin:${HADOOP_HOME}/bin:${HADOOP_HOME}/sbin:${HIVE_HOME}/bin

exportHIVE_CONF_DIR=$HIVE_HOME/conf

exportHIVE_LIB=$HIVE_HOME/lib

添加完后执行以下命令使得环境变量生效：

..bash_profile

（3）修改配置文件

修改hive配置文件(配置文件目录：hive-0.9.0-cdh4.1.2/conf/)

在hive-0.9.0-cdh4.1.2/conf/目录下新建hive-site.xml文件，并添加以下配置信息：

hive.metastore.local

true

javax.jdo.option.ConnectionURL

jdbc:mysql://10.28.169.61:3306/hive_impala?createDatabaseIfNotExist=true

javax.jdo.option.ConnectionDriverName

com.mysql.jdbc.Driver

javax.jdo.option.ConnectionUserName

hadoop

javax.jdo.option.ConnectionPassword

123456

hive.security.authorization.enabled

false

hive.security.authorization.createtable.owner.grants

ALL

hive.querylog.location

${user.home}/hive-logs/querylog

（4）验证成功状态

完成以上步骤之后，验证hive安装是否成功

在mr5命令行执行hive，并输入”show tables;”，出现以下提示，说明hive安装成功：

>hive

hive>show tables;

OK

Time taken:18.952 seconds

hive>

6、impala安装

说明：

(1)、以下1、2、3、4步是在root用户分别在mr5、mr6、mr7、mr8下执行

(2)、以下第5步是在hadoop用户下执行

（1）安装依赖包：

安装mysql-connector-java：

yum install mysql-connector-java

安装bigtop

rpm-ivh bigtop-utils-0.4+300-1.cdh4.0.1.p0.1.el6.noarch.rpm

安装libevent

rpm-ivhlibevent-1.4.13-4.el6.x86_64.rpm

如存在其他需要安装的依赖包，可以到以下链接：

进行下载。

（2）安装impala的rpm，分别执行

rpm-ivh impala-0.3-1.p0.366.el6.x86_64.rpm

rpm-ivh impala-server-0.3-1.p0.366.el6.x86_64.rpm

rpm-ivh impala-debuginfo-0.3-1.p0.366.el6.x86_64.rpm

rpm-ivh impala-shell-0.3-1.p0.366.el6.x86_64.rpm

（3）找到impala的安装目录

完成第1步和第2步后，通过以下命令：

find/-name impala

输出：

/usr/lib/debug/usr/lib/impala

/usr/lib/impala

/var/run/impala

/var/log/impala

/var/lib/alternatives/impala

/etc/default/impala

/etc/alternatives/impala

找到impala的安装目录：/usr/lib/impala

（4）配置Impala

在Impala安装目录/usr/lib/impala下创建conf，将hadoop中的conf文件夹下的core-site.xml、hdfs-site.xml、hive中的conf文件夹下的hive-site.xml复制到其中。

在core-site.xml文件中添加如下内容：

dfs.client.read.shortcircuit

true

dfs.client.read.shortcircuit.skip.checksum

false

在hadoop和impala的hdfs-site.xml文件中添加如下内容并重启hadoop和impala：

dfs.datanode.data.dir.perm

755

dfs.block.local-path-access.user

hadoop

dfs.datanode.hdfs-blocks-metadata.enabled

true

（5）启动服务

(1)、在mr5启动Impala state store，命令如下：

>GLOG_v=1 nohup statestored-state_store_port=24000&

如果statestore正常启动，可以在/tmp/statestored.INFO查看。如果出现异常，可以查看/tmp/statestored.ERROR定位错误信息。

(2)、在mr6、mr7、mr8启动Impalad，命令如下：

mr6：

>GLOG_v=1 nohup impalad-state_store_host=mr5-nn=mr5-nn_port=9000-hostname=mr6-ipaddress=10.28.169.113&

mr7：

>GLOG_v=1 nohup impalad-state_store_host=mr5-nn=mr5-nn_port=9000-hostname=mr7-ipaddress=10.28.169.114&

mr8：

>GLOG_v=1 nohup impalad-state_store_host=mr5-nn=mr5-nn_port=9000-hostname=mr8-ipaddress=10.28.169.115&

如果impalad正常启动，可以在/tmp/impalad.INFO查看。如果出现异常，可以查看/tmp/ impalad.ERROR定位错误信息。

（6）使用shell

使用impala-shell启动Impala Shell，分别连接各Impalad主机(mr6、mr7、mr8)，刷新元数据，之后就可以执行shell命令。相关的命令如下(可以在任意节点执行)：

>impala-shell

[Not connected]> connect mr6:21000

[mr6:21000]>refresh

[mr6:21000]>connectmr7:21000

[mr7:21000]>refresh

[mr7:21000]>connectmr8:21000

[mr8:21000]>refresh

（7）验证成功状态

使用impala-shell启动Impala Shell，分别连接各Impalad主机，刷新元数据，之后就可以执行shell命令。相关的命令如下(可以在任意节点执行)：

>impala-shell

[Not connected]> connect mr6:21000

[mr6:21000]>refresh

[mr6:21000]>show databases

default

[mr6:21000]>

出现以上提示信息，说明安装成功。

如何搭建mqtt的测试环境

搭建MQTT测试环境的简易指南如下：

首先，选择一个常用的开源MQTT Broker，如Mosquitto。对于Ubuntu用户，通过终端命令（如sudo apt-get install mosquitto）快速安装，其他系统则访问Eclipse Mosquitto官网（）下载适合的安装包进行安装。

安装完成后，无需额外操作，Mosquitto Broker通常会在系统启动时自动运行。你可以通过命令行检查其状态，或者手动启动（命令取决于操作系统）。

为增强安全性，可对Mosquitto进行配置，如启用认证或ACL，通过编辑默认配置文件（如在Ubuntu中是/etc/mosquitto/mosquitto.conf）并重启服务。

测试MQTT功能，可以安装图形界面客户端如MQTT.fx或MQTT Explorer，或使用命令行工具如mosquitto_sub和mosquitto_pub进行连接和消息操作。

例如，订阅主题的命令在终端1中输入，发布消息的命令在终端2中运行。

如果需要，还可以配置TLS/SSL加密，涉及到证书的获取或生成，以及在mosquitto.conf中进行相应配置。

部分Mosquitto版本支持Web管理界面，比如mosquitto-auth-plug插件，可通过浏览器访问进行管理和监控。

至此，基础的MQTT测试环境已经搭建完毕。若需使用其他功能或尝试其他MQTT Broker（如EMQ X或HiveMQ），请查阅各自产品的详细文档进行操作。

阅读剩余
版权声明：
作者：云服务器测评
链接：https://www.i40.top/linux/70899.html
文章版权归作者所有，未经允许请勿转载。
THE END
hiveubuntu安装镜像
ubuntu的grub设置，grub设置默认启动项
<<上一篇
ubuntu的grub？ubuntu修改grub
下一篇>>
相关推荐
龙芯ubuntu，arm版本的ubuntu系统
龙芯 linux？龙芯中科官网
龙芯ubuntu(ubuntu18.04下载)
鼠标退出centos(centos图形界面)
鼠标 linux linux鼠标怎么移出来
默认启动linux linux启动nginx命令
默认ubuntu启动？ubuntu默认密码
黑苹果 ubuntu，opencore黑苹果
黑马linux 黑马云计算
黑武器linux？Linux杀毒软件