kafka 安装 centos?centos8安装图形界面

centos7中安装zookpeer和kafka(单机)

在CentOS 7服务器上安装Zookeeper和Kafka(单机模式)的过程如下:

首先,从官方网站下载Zookeeper和Kafka的压缩包。你可以选择官方提供的版本,或者从可信的第三方资源下载。

将下载的压缩包解压到服务器上的特定目录中,并创建一个用于存放压缩包的文件夹。例如:

新建一个名为`test`的文件夹。

安装Zookeeper的步骤如下:

1.将解压后的Zookeeper文件夹重命名为`zk`,并移动到`/usr/local/`目录下。

2.切换到`/usr/local/zk/conf/`目录下,复制一个`zoo_sample.cfg`文件并将其重命名为`zoo.cfg`。

3.使用文本编辑器(如vi)打开`zoo.cfg`文件,并修改`datadir`参数为`/usr/local/zk/data`。

4.在`zk`目录下创建`data`文件夹。

5.通过`/etc/profile`文件配置环境变量。添加`java_home`和`zk_home`的路径,将`zk`的`bin`目录路径添加到`path`中。

6.使环境变量生效,执行`source/etc/profile`。

7.进入`/usr/local/zk/bin/`目录,启动Zookeeper服务器:`zkServer.sh start`。

检查Zookeeper状态,确保其显示为`standalone`。

执行`zkServer.sh start`、`zkServer.sh stop`、`zkServer.sh restart`和`zkServer.sh status`,分别启动、停止、重启和查看当前节点状态。

接下来安装Kafka:

1.将Kafka压缩包解压到服务器上。

2.将解压后的Kafka文件夹移动到`/usr/local/`目录下。

3.切换到`/usr/local/kafka/config/`目录下,使用文本编辑器修改`server.properties`文件。

4.将`log.dirs`参数设置为`/usr/local/kafka/data/kafka-logs`,将`connect`中的`localhost`替换为服务器IP地址,修改`advertised.listeners`参数为`PLAINTEXT:// xx.xx.xx.xxx:9092`(`xx`代表你的服务器IP)。

5.常规模式下启动Kafka:`./kafka-server-start.sh../config/server.properties&`。

关闭Kafka:`./kafka-server-stop.sh`。

使用进程守护模式启动Kafka:`nohup./kafka-server-start.sh config/server.properties>/dev/null 2>&1&`。

如果在安装过程中遇到错误,可以尝试调整Kafka的启动内存大小,修改`KAFKA_HEAP_OPTS`环境变量为`-Xmx512M-Xms512M`。

创建一个Kafka主题:在Kafka的`bin`目录下执行`./kafka-topics.sh--create--zookeeper 127.0.0.1:2181--partitions 1--replication-factor 1--topic test`。

使用生产者向Kafka发送消息:`./kafka-console-producer.sh--broker-list 127.0.0.1:9092--topic test`。

使用消费者消费消息:在另一个终端窗口中执行`./kafka-console-consumer.sh--broker-list 127.0.0.1:9092--topic test`。

如果在使用消费者时遇到问题,可以尝试使用`./kafka-console-consumer.sh--bootstrap-server 127.0.0.1:9092--topic test`。

在CentOS 7中关闭防火墙:执行`systemctl stop firewalld.service`。

最后,确保将Kafka的`9092`端口添加到安全组中,以允许外部访问。

CentOS7上如何安装KafkaCentOS7上安装Kafka教程

简介

Kafka是一种高吞吐的分布式发布订阅消息系统,能够替代传统的消息队列用于解耦合数据处理,缓存未处理消息等,同时具有更高的吞吐率,支持分区、多副本、冗余,因此被广泛用于大规模消息数据处理应用

Kafka支持Java及多种其它语言客户端,可与Hadoop、Storm、Spark等其它大数据工具结合使用。

本教程主要介绍Kafka在Centos 7上的安装和使用,包括功能验证和集群的简单配置。

安装JDK

Kafka使用Zookeeper来保存相关配置信息,Kafka及Zookeeper依赖Java运行环境,从oracle网站下载JDK安装包,解压安装:

$tar zxvf jdk-8u65-linux-x64.tar.gz$mv jdk1.8.0_65 java

设置Java环境变量:

JAVA_HOME=/opt/javaPATH=$PATH:$JAVA_HOME/binexport JAVA_HOME PATH

也可以选择yum install安装,相应设置环境变量。

安装Kafka

从官网下载Kafka安装包,解压安装:官网地址:

tar zxvf kafka_2.11-0.8.2.2.tgzmv kafka_2.11-0.8.2.2 kafkacd kafka

功能验证

1.启动Zookeeper使用安装包中的脚本启动单节点Zookeeper实例:

bin/zookeeper-server-start.sh-daemon config/zookeeper.properties

2.启动Kafka服务使用kafka-server-start.sh启动kafka服务:

bin/kafka-server-start.sh config/server.properties

3.创建topic使用kafka-topics.sh创建单分区单副本的topic test:

bin/kafka-topics.sh--create--zookeeper localhost:2181--replication-factor 1--partitions 1--topic test

查看topic:

bin/kafka-topics.sh--list--zookeeper localhost:2181test

4.产生消息使用kafka-console-producer.sh发送消息:

bin/kafka-console-producer.sh--broker-list localhost:9092--topic test Hello world!

5.消费消息使用kafka-console-consumer.sh接收消息并在终端打印:

bin/kafka-console-consumer.sh--zookeeper localhost:2181--topic test--from-beginning

producer产生的消息和consumer消费的消息是同步的。

centos7安装kafka

为了在 CentOS 7系统上安装 Kafka并利用 Zookeeper的支持,我们首先需要准备以下环境。

在使用云服务器时,请记得在云服务器管理面板开启相应的 TCP端口。

步骤一:安装 JDK1.8

1、通过 wget下载 JDK:wget非 openjdk repo.huaweicloud.com/ja...

2、创建安装目录

3、解压至安装目录

4、配置环境变量,加入以下配置

5、使环境变量生效

6、添加软链接

7、检查 JDK是否安装成功

步骤二:安装 Zookeeper

1、下载 Zookeeper

2、创建安装目录

3、解压到目录

4、创建 zoo.cfg配置文件,定位到 bin目录进行创建

写入配置内容如下

5、启动 Zookeeper

6、停止 Zookeeper

7、客户端连接测试,执行创建、设置、获取、删除数据操作

步骤三:安装 Kafka

1、获取 Kafka

2、创建安装目录

3、解压至目录

4、进入 Kafka目录

5、查看版本以验证是否解压成功

6、修改 Kafka配置文件,特别注意默认的 Zookeeper配置,需调整三个关键配置项

示例配置如下

7、启动 Kafka

8、停止 Kafka

9、使用基本命令操作 Kafka

参考 Kafka入门最佳实践-武装小灰灰-博客园(cnblogs.com)

步骤四:安装 Kafka-Manager

项目使用 JDK11编译,故需先安装 JDK11

1、下载

2、创建安装目录

3、安装 unzip

4、解压到安装目录

5、修改配置,设置以下参数的值:

(1) ZooKeeper的监听地址

(2)登录账号密码

启动 Kafka-Manager,访问 ,注意开启云服务器端口

阅读剩余
THE END