kafka 安装 centos?centos8安装图形界面
centos7中安装zookpeer和kafka(单机)
在CentOS 7服务器上安装Zookeeper和Kafka(单机模式)的过程如下:
首先,从官方网站下载Zookeeper和Kafka的压缩包。你可以选择官方提供的版本,或者从可信的第三方资源下载。
将下载的压缩包解压到服务器上的特定目录中,并创建一个用于存放压缩包的文件夹。例如:
新建一个名为`test`的文件夹。
安装Zookeeper的步骤如下:
1.将解压后的Zookeeper文件夹重命名为`zk`,并移动到`/usr/local/`目录下。
2.切换到`/usr/local/zk/conf/`目录下,复制一个`zoo_sample.cfg`文件并将其重命名为`zoo.cfg`。
3.使用文本编辑器(如vi)打开`zoo.cfg`文件,并修改`datadir`参数为`/usr/local/zk/data`。
4.在`zk`目录下创建`data`文件夹。
5.通过`/etc/profile`文件配置环境变量。添加`java_home`和`zk_home`的路径,将`zk`的`bin`目录路径添加到`path`中。
6.使环境变量生效,执行`source/etc/profile`。
7.进入`/usr/local/zk/bin/`目录,启动Zookeeper服务器:`zkServer.sh start`。
检查Zookeeper状态,确保其显示为`standalone`。
执行`zkServer.sh start`、`zkServer.sh stop`、`zkServer.sh restart`和`zkServer.sh status`,分别启动、停止、重启和查看当前节点状态。
接下来安装Kafka:
1.将Kafka压缩包解压到服务器上。
2.将解压后的Kafka文件夹移动到`/usr/local/`目录下。
3.切换到`/usr/local/kafka/config/`目录下,使用文本编辑器修改`server.properties`文件。
4.将`log.dirs`参数设置为`/usr/local/kafka/data/kafka-logs`,将`connect`中的`localhost`替换为服务器IP地址,修改`advertised.listeners`参数为`PLAINTEXT:// xx.xx.xx.xxx:9092`(`xx`代表你的服务器IP)。
5.常规模式下启动Kafka:`./kafka-server-start.sh../config/server.properties&`。
关闭Kafka:`./kafka-server-stop.sh`。
使用进程守护模式启动Kafka:`nohup./kafka-server-start.sh config/server.properties>/dev/null 2>&1&`。
如果在安装过程中遇到错误,可以尝试调整Kafka的启动内存大小,修改`KAFKA_HEAP_OPTS`环境变量为`-Xmx512M-Xms512M`。
创建一个Kafka主题:在Kafka的`bin`目录下执行`./kafka-topics.sh--create--zookeeper 127.0.0.1:2181--partitions 1--replication-factor 1--topic test`。
使用生产者向Kafka发送消息:`./kafka-console-producer.sh--broker-list 127.0.0.1:9092--topic test`。
使用消费者消费消息:在另一个终端窗口中执行`./kafka-console-consumer.sh--broker-list 127.0.0.1:9092--topic test`。
如果在使用消费者时遇到问题,可以尝试使用`./kafka-console-consumer.sh--bootstrap-server 127.0.0.1:9092--topic test`。
在CentOS 7中关闭防火墙:执行`systemctl stop firewalld.service`。
最后,确保将Kafka的`9092`端口添加到安全组中,以允许外部访问。
CentOS7上如何安装KafkaCentOS7上安装Kafka教程
简介
Kafka是一种高吞吐的分布式发布订阅消息系统,能够替代传统的消息队列用于解耦合数据处理,缓存未处理消息等,同时具有更高的吞吐率,支持分区、多副本、冗余,因此被广泛用于大规模消息数据处理应用
Kafka支持Java及多种其它语言客户端,可与Hadoop、Storm、Spark等其它大数据工具结合使用。
本教程主要介绍Kafka在Centos 7上的安装和使用,包括功能验证和集群的简单配置。
安装JDK
Kafka使用Zookeeper来保存相关配置信息,Kafka及Zookeeper依赖Java运行环境,从oracle网站下载JDK安装包,解压安装:
$tar zxvf jdk-8u65-linux-x64.tar.gz$mv jdk1.8.0_65 java
设置Java环境变量:
JAVA_HOME=/opt/javaPATH=$PATH:$JAVA_HOME/binexport JAVA_HOME PATH
也可以选择yum install安装,相应设置环境变量。
安装Kafka
从官网下载Kafka安装包,解压安装:官网地址:
tar zxvf kafka_2.11-0.8.2.2.tgzmv kafka_2.11-0.8.2.2 kafkacd kafka
功能验证
1.启动Zookeeper使用安装包中的脚本启动单节点Zookeeper实例:
bin/zookeeper-server-start.sh-daemon config/zookeeper.properties
2.启动Kafka服务使用kafka-server-start.sh启动kafka服务:
bin/kafka-server-start.sh config/server.properties
3.创建topic使用kafka-topics.sh创建单分区单副本的topic test:
bin/kafka-topics.sh--create--zookeeper localhost:2181--replication-factor 1--partitions 1--topic test
查看topic:
bin/kafka-topics.sh--list--zookeeper localhost:2181test
4.产生消息使用kafka-console-producer.sh发送消息:
bin/kafka-console-producer.sh--broker-list localhost:9092--topic test Hello world!
5.消费消息使用kafka-console-consumer.sh接收消息并在终端打印:
bin/kafka-console-consumer.sh--zookeeper localhost:2181--topic test--from-beginning
producer产生的消息和consumer消费的消息是同步的。
centos7安装kafka
为了在 CentOS 7系统上安装 Kafka并利用 Zookeeper的支持,我们首先需要准备以下环境。
在使用云服务器时,请记得在云服务器管理面板开启相应的 TCP端口。
步骤一:安装 JDK1.8
1、通过 wget下载 JDK:wget非 openjdk repo.huaweicloud.com/ja...
2、创建安装目录
3、解压至安装目录
4、配置环境变量,加入以下配置
5、使环境变量生效
6、添加软链接
7、检查 JDK是否安装成功
步骤二:安装 Zookeeper
1、下载 Zookeeper
2、创建安装目录
3、解压到目录
4、创建 zoo.cfg配置文件,定位到 bin目录进行创建
写入配置内容如下
5、启动 Zookeeper
6、停止 Zookeeper
7、客户端连接测试,执行创建、设置、获取、删除数据操作
步骤三:安装 Kafka
1、获取 Kafka
2、创建安装目录
3、解压至目录
4、进入 Kafka目录
5、查看版本以验证是否解压成功
6、修改 Kafka配置文件,特别注意默认的 Zookeeper配置,需调整三个关键配置项
示例配置如下
7、启动 Kafka
8、停止 Kafka
9、使用基本命令操作 Kafka
参考 Kafka入门最佳实践-武装小灰灰-博客园(cnblogs.com)
步骤四:安装 Kafka-Manager
项目使用 JDK11编译,故需先安装 JDK11
1、下载
2、创建安装目录
3、安装 unzip
4、解压到安装目录
5、修改配置,设置以下参数的值:
(1) ZooKeeper的监听地址
(2)登录账号密码
启动 Kafka-Manager,访问 ,注意开启云服务器端口