centos安装filebeat？centos7.6安装教程

大家好，关于centos安装filebeat很多朋友都还不太明白，不过没关系，因为今天小编就来为大家分享关于centos7.6安装教程的知识点，相信应该可以解决大家的一些困惑和问题，如果碰巧可以解决您的问题，还望关注下本站哦，希望对各位有所帮助！

史上最详细教程:CentOS 7.8 部署 Graylog 3

在使用 Graylog之前，我们尝试过 Kibana，但发现 Kibana在数据格式化、视图归档与分类、账户权限分类等方面存在不足，查询日志时会附带大量干扰信息。因此，我们转向了 Graylog。为了将 ELK体系迁移到新的 EFGM（ElasticSearch、Filebeat、Graylog、MongoDB）体系，我们进行了以下服务的安装与配置：

安装 MongoDB

直接添加源，使用 yum安装 MongoDB。确保 yum命令执行后，启动并启用服务。

安装 ElasticSearch

ElasticSearch 6.8.3与 Graylog3兼容。从官网下载 rpm包并安装，确保配置文件中包括 cluster.name、path.data和 action.auto_create_index参数的正确设置。修改服务配置文件以指定 JAVA_HOME路径，启动服务。

安装 Graylog

通过 rpm安装 Graylog，并在配置文件中设置 password_secret、root_password_sha2和 data_dir参数。根据需要调整 http_bind_address和 http_publish_uri，确保 elasticsearch_hosts配置指向正确的 ES地址。

安装 Sidecar

下载并安装 Sidecar rpm包，配置文件中添加 server_url、server_api_token、node_name、update_interval和 send_status参数。重启 Sidecar后，Sidecar应能正常工作。

安装 Filebeat

通过 rpm安装最新版本的 Filebeat，无需额外配置。启动并启用服务。

配置 Graylog基本功能

建立配置以连接 Sidecar，确保 Sidecar可以正常接收日志。配置 Inputs接收日志数据，并建立 Sidecar配置以分发文件。

处理日志

使用 Pipeline规整日志，删除不必要的字段，提高搜索效率。为单个服务建立独立索引，优化检索与分类。

分类日志与数据流

根据服务类型创建 Stream，配置规则以筛选特定日志数据。管理 Stream规则，确保日志正确分类与归档。

权限管理

创建管理员账户，分配特定 Stream权限给用户，以确保数据安全与访问控制。

解决常见问题

如遇到 ES、Filebeat、Graylog、Sidecar无法启动的问题，检查日志文件以定位问题。对于 ES中的“Deflector exists as an index and is not an alias”错误，使用 curl命令删除相关索引并重启 Graylog服务。

通过以上步骤，我们成功地从 ELK体系迁移到了 EFGM体系，实现了数据格式化、视图归档与分类、账户权限分类等功能的优化，提高了日志查询效率与数据安全性。

filebeat安装使用

1.配置文件含义

2.启动filebeat测试

输出信息

filebeat找不到配置文件时可以指定配置文件

./filebeat-c/usrlocal/filebeat/filebeat.yml

-e将启动信息输出到屏幕上

filebeat进程日志

filebeat本身运行的日志默认位置${install_path}/logs/filebeat

要修改filebeat的日子路径，可以添加一下内容在filebeat.yml配置文件

查看可用的模块列表

模块配置文件保存位置

${install_path}/filebeat/modules.d/

启动nginx模块

sudo./filebeat modules enable nginx

1.使用模板默认路径

nginx模块配置收集日志的默认路径是

CentOS

Ubuntu

测试

2.nginx日志不在默认存储路径下时

如果不设置此项，filebeat将根据你的操作系统选择使用默认路径

注意：此种方式十一追加的方式和模块默认路径合并在一起的，也就是说使用了此种方式，nginx模块还是回去默认路径下查找。

3.配置ouput

filebeat是用于搜集日志，之后把日志推送到某个接受的系统中，这些系统或者装置在filebeat中称为output。

output类型

完整的output列表在filebeat官方文档

filebeat在运行的时候，以上的output只可配置其中一种

输出到console

输出完整的json数据

前台运行filebeat

如果只想输出完整json数据中的某些字段

其他输出目标:

输出到elasticsearch

输出到 logstash

有时候处于实验目的，可能需要重新读取日志文件，这个时候需要删除安装目录下的 data文件夹，重新运行 filebeat即可。

[图片上传失败...(image-c04404-1650615591430)]

报错

假如出现如下报错，请删制除安装目录中的data文件夹

查看一下是否有一个进程已经处于运行状态，尝试杀死此进程，之后重新运行filebeat

可以在配置中定义处理器，以便在事件发送到配置的输出之前对其进行处理。libbeat库提供以下处理器∶

工作方式

每个处理器都接收一个事件，对该事件应用已定义的操作，然后返回该事件。如果定义

处理器列表，则将按照在Filebeat配置文件中定义的顺序执行它们。

去重日志中的某些行

配置位置在 filebeat.yml文件中

删除所有以 DBG:开头的行

像输出的信息中添加某些自定义字段

从事件中删除某些字段

以上配置，将删除字段: field1和 field2

ignore_missing的值为 false表示，字段名不存在则会返回错误。为true不会返回错误。

注意:事件中的"@timestamp和 type字段是无法删除的。

下面的配置示例是删除顶级字段 input和顶级字段 ecs中的 version字段。

ELK一键安装脚本

本文介绍了一键安装ELK（Elasticsearch、Kibana、Logstash）及相关软件的脚本，适用于CentOS Linux 7.8.2003操作系统环境。以下是脚本功能概览：

1）一键安装Elasticsearch、Kibana、Logstash、Filebeat

2）一键安装Zookeeper

3）一键安装Kafka

4）一键安装Nginx

5）自动添加nginx_access、nginx_error索引

6）自动配置Elasticsearch用户密码

其中，所需软件版本如下：

elasticsearch：elasticsearch-7.5.1-linux-x86_64.tar.gz

kibana：kibana-7.5.1-linux-x86_64.tar.gz

logstash：logstash-7.5.1.tar.gz

filebeat：filebeat-7.5.1-linux-x86_64.tar.gz

JDK：jdk-11.0.1_linux-x64_bin.tar.gz

Nginx：nginx-1.18.0.tar.gz

Zookeeper：zookeeper-3.4.10.tar.gz

Kafka：kafka_2.12-2.5.0.tgz

安装脚本的执行步骤如下：

1）解压所有软件包至指定目录。

2）配置各软件的环境变量。

3）执行Elasticsearch、Kibana、Logstash、Filebeat、Zookeeper、Kafka、Nginx的安装脚本。

4）自动创建Elasticsearch的用户和密码。

5）在Elasticsearch中添加nginx_access、nginx_error索引。

6）启动所有软件服务。

7）通过Elasticsearch的web面板进行管理。

此脚本简化了ELK及相关软件的安装流程，提高了部署效率。使用时需确保系统环境满足脚本要求，并根据实际情况调整配置。