logstash centos centos7卸载软件命令
大家好，今天来为大家解答logstash centos这个问题的一些问题点，包括centos7卸载软件命令也一样很多人还不知道，因此呢，今天就来为大家分析分析，现在让我们一起来看看吧！如果解决了您的问题，还望您关注下本站哦，谢谢~
关于linux学习路线的问题 请教前辈
很多同学接触Linux不多，对Linux平台的开发更是一无所知。而现在的趋势越来越表明，作为一个优秀的软件开发人员，或计算机IT行业从业人员，掌握Linux是一种很重要的谋生资源与手段。下来我将会结合自己的几年的个人开发经验，及对 Linux，更是类UNIX系统，及开源软件文化，谈谈Linux的学习方法与学习中应该注意的一些事。
就如同刚才说的，很多同学以前可能连Linux是什么都不知道，对UNIX更是一无所知。所以我们从最基础的讲起，对于Linux及UNIX的历史我们不做多谈，直接进入入门的学习。
Linux入门是很简单的，问题是你是否有耐心，是否爱折腾，是否不排斥重装一类的大修。没折腾可以说是学不好Linux的，鸟哥说过，要真正了解Linux的分区机制，对LVM使用相当熟练，没有20次以上的Linux装机经验是积累不起来的，所以一定不要怕折腾。
由于大家之前都使用Windows，所以我也尽可能照顾这些“菜鸟”。我的推荐，如果你第一次接触Linux，那么首先在虚拟机中尝试它。虚拟机我推荐Virtual Box，我并不主张使用VM，原因是VM是闭源的，并且是收费的，我不希望推动盗版。当然如果你的Money足够多，可以尝试VM，但我要说的是即使是VM，不一定就一定好。付费的软件不一定好。首先，Virtual Box很小巧，Windows平台下安装包在80MB左右，而VM动辄600MB，虽然功能强大，但资源消耗也多，何况你的需求Virtual Box完全能够满足。所以，还是自己选。如何使用虚拟机，是你的事，这个我不教你，因为很简单，不会的话Google或Baidu都可以，英文好的可以直接看官方文档。
现在介绍Linux发行版的知识。正如你所见，Linux发行版并非Linux，Linux仅是指操作系统的内核，作为科班出生的你不要让我解释，我也没时间。我推荐的发行版如下：
UBUNTU适合纯菜鸟，追求稳定的官方支持，对系统稳定性要求较弱，喜欢最新应用，相对来说不太喜欢折腾的开发者。
Debian，相对UBUNTU难很多的发行版，突出特点是稳定与容易使用的包管理系统，缺点是企业支持不足，为社区开发驱动。
Arch，追逐时尚的开发者的首选，优点是包更新相当快，无缝升级，一次安装基本可以一直运作下去，没有如UBUNTU那样的版本概念，说的专业点叫滚动升级，保持你的系统一定是最新的。缺点显然易见，不稳定。同时安装配置相对Debian再麻烦点。
Gentoo，相对Arch再难点，考验使用者的综合水平，从系统安装到微调，内核编译都亲历亲为，是高手及黑客显示自己技术手段，按需配置符合自己要求的系统的首选。
Slackware与Gentoo类似。
CentOS，社区维护的RedHat的复刻版本，完全使用RedHat的源码重新编译生成，与RedHat的兼容性在理论上来说是最好的。如果你专注于Linux服务器，如网络管理，架站，那么CentOS是你的选择。
LFS，终极黑客显摆工具，完全从源代码安装，编译系统。安装前你得到的只有一份文档，你要做的就是照文档你的说明，一步步，一条条命令，一个个软件包的去构建你的Linux，完全由你自己控制，想要什么就是什么。如果你做出了LFS，证明你的Linux功底已经相当不错，如果你能拿LFS文档活学活用，再将Linux从源代码开始移植到嵌入式系统，我敢说中国的企业你可以混的很好。
你得挑一个适合你的系统，然后在虚拟机安装它，开始使用它。如果你想快速学会Linux，我有一个建议就是忘记图形界面，不要想图形界面能不能提供你问题的答案，而是满世界的去找，去问，如何用命令行解决你的问题。在这个过程中，你最好能将Linux的命令掌握的不错，起码常用的命令得知道，同时建立了自己的知识库，里面是你积累的各项知识。
再下个阶段，你需要学习的是Linux平台的C/C++开发，同时还有Bash脚本编程，如果你对Java兴趣很深还有Java。同样，建议你抛弃掉图形界面的IDE，从VIM开始，为什么是VIM，而不是Emacs，我无意挑起编辑器大战，但我觉得VIM适合初学者，适合手比较笨，脑袋比较慢的开发者。Emacs的键位太多，太复杂，我很畏惧。然后是GCC，Make，Eclipse（Java，C++或者）。虽然将C++列在了Eclipse中，但我并不推荐用IDE开发C++，因为这不是Linux的文化，容易让你忽略一些你应该注意的问题。IDE让你变懒，懒得跟猪一样。如果你对程序调试，测试工作很感兴趣，GDB也得学的很好，如果不是GDB也是必修课。这是开发的第一步，注意我并没有提过一句Linux系统API的内容，这个阶段也不要关心这个。你要做的就是积累经验，在Linux平台的开发经验。我推荐的书如下：C语言程序设计，谭浩强的也可以。C语言，白皮书当然更好。C++推荐C++ Primer Plus，Java我不喜欢，就不推荐了。工具方面推荐VIM的官方手册，GCC中文文档，GDB中文文档，GNU开源软件开发指导（电子书），汇编语言程序设计（让你对库，链接，内嵌汇编，编译器优化选项有初步了解，不必深度）。
如果你这个阶段过不了就不必往下做了，这是底线，最基础的基础，否则离开，不要霍霍Linux开发。不专业的Linux开发者作出的程序是与Linux文化或UNIX文化相背的，程序是走不远的，不可能像Bash，VIM这些神品一样。所以做不好干脆离开。
接下来进入Linux系统编程，不二选择，APUE，UNIX环境高级编程，一遍一遍的看，看10遍都嫌少，如果你可以在大学将这本书翻烂，里面的内容都实践过，有作品，你口头表达能力够强，你可以在面试时说服所有的考官。（可能有点夸张，但APUE绝对是圣经一般的读物，即使是Windows程序员也从其中汲取养分，Google创始人的案头书籍，扎尔伯克的床头读物。）
这本书看完后你会对Linux系统编程有相当的了解，知道Linux与Windows平台间开发的差异在哪？它们的优缺点在哪？我的总结如下：做Windows平台开发，很苦，微软的系统API总在扩容，想使用最新潮，最高效的功能，最适合当前流行系统的功能你必须时刻学习。Linux不是，Linux系统的核心API就100来个，记忆力好完全可以背下来。而且经久不变，为什么不变，因为要同UNIX兼容，符合POSIX标准。所以Linux平台的开发大多是专注于底层的或服务器编程。这是其优点，当然图形是Linux的软肋，但我站在一个开发者的角度，我无所谓，因为命令行我也可以适应，如果有更好的图形界面我就当作恩赐吧。另外，Windows闭源，系统做了什么你更本不知道，永远被微软牵着鼻子跑，想想如果微软说Win8不支持QQ，那腾讯不得哭死。而Linux完全开源，你不喜欢，可以自己改，只要你技术够。另外，Windows虽然使用的人多，但使用场合单一，专注与桌面。而Linux在各个方面都有发展，尤其在云计算，服务器软件，嵌入式领域，企业级应用上有广大前景，而且兼容性一流，由于支持POSIX可以无缝的运行在UNIX系统之上，不管是苹果的Mac还是IBM的AS400系列，都是完全支持的。另外，Linux的开发环境支持也绝对是一流的，不管是C/C++，Java，Bash，Python，PHP，Javascript，。。。。。。就连C#也支持。而微软除Visual Stdio套件以外，都不怎么友好，不是吗？
如果你看完APUE的感触有很多，希望验证你的某些想法或经验，推荐UNIX程序设计艺术，世界顶级黑客将同你分享他的看法。
现在是时候做分流了。大体上我分为四个方向：网络，图形，嵌入式，设备驱动。
如果选择网络，再细分，我对其他的不是他熟悉，只说服务器软件编写及高性能的并发程序编写吧。相对来说这是网络编程中技术含量最高的，也是底层的。需要很多的经验，看很多的书，做很多的项目。
我的看法是以下面的顺序来看书：
APUE再深读–尤其是进程，线程，IPC，套接字
多核程序设计- Pthread一定得吃透了，你很NB
UNIX网络编程–卷一，卷二
TCP/IP网络详解–卷一再看上面两本书时就该看了
5.TCP/IP网络详解–卷二我觉得看到卷二就差不多了，当然卷三看了更好，努力，争取看了
6.Lighttpd源代码-这个服务器也很有名了
7.Nginx源代码–相较于Apache，Nginx的源码较少，如果能看个大致，很NB。看源代码主要是要学习里面的套接字编程及并发控制，想想都激动。如果你有这些本事，可以试着往暴雪投简历，为他们写服务器后台，想一想全球的魔兽都运行在你的服务器软件上。
Linux内核 TCP/IP协议栈–深入了解TCP/IP的实现
如果你还喜欢驱动程序设计，可以看看更底层的协议，如链路层的，写什么路由器，网卡，网络设备的驱动及嵌入式系统软件应该也不成问题了。
当然一般的网络公司，就算百度级别的也该毫不犹豫的雇用你。只是看后面这些书需要时间与经验，所以35岁以前办到吧！跳槽到给你未来的地方！
图形方向，我觉得图形方向也是很有前途的，以下几个方面。
Opengl的工业及游戏开发，国外较成熟。
影视动画特效，如皮克斯，也是国外较成熟。
GPU计算技术，可以应用在浏览器网页渲染上，GPU计算资源利用上，由于开源的原因，有很多的文档程序可以参考。如果能进火狐开发，或google做浏览器开发，应该会很好。
嵌入式方向：嵌入式方向没说的，Linux很重要。
掌握多个架构，不仅X86的，ARM的，单片机什么的也必须得懂。硬件不懂我预见你会死在半路上，我也想走嵌入式方向，但我觉得就学校教授嵌入式的方法，我连学电子的那帮学生都竞争不过。奉劝大家，一定得懂硬件再去做，如果走到嵌入式应用开发，只能祝你好运，不要碰上像Nokia，Hp这样的公司，否则你会很惨的。
驱动程序设计：软件开发周期是很长的，硬件不同，很快。每个月诞生那么多的新硬件，如何让他们在Linux上工作起来，这是你的工作。由于Linux的兼容性很好，如果不是太低层的驱动，基本C语言就可以搞定，系统架构的影响不大，因为有系统支持，你可能做些许更改就可以在ARM上使用PC的硬件了，所以做硬件驱动开发不像嵌入式，对硬件知识的要求很高。可以从事的方向也很多，如家电啊，特别是如索尼，日立，希捷，富士康这样的厂子，很稀缺的。
LDD– Linux驱动程序设计与内核编程的基础读物
深入理解Linux内核–进阶的
Linux源代码–永无止境的
当然你还的看个方面的书，如网络啊什么的。
如何在CentOS 7上安装Elasticsearch,Logstash和Kibana
您的ELK服务器将需要的CPU，RAM和存储量取决于您要收集的日志的卷。在本教程中，我们将使用具有以下规格的VPS用于我们的ELK服务器：
OS: CentOS 7
RAM: 4GB
CPU: 2
注：根据自己的服务器资源分配各个节点的资源
安装 Java 8
Elasticsearch和Logstash需要Java，所以我们现在就安装它。我们将安装最新版本的Oracle Java 8，因为这是Elasticsearch推荐的版本。
注：建议本地下载完最新版的JDK，然后上传到服务器的/usr/local/src目录
# JDK下载地址：
123123
然后使用此yum命令安装RPM（如果您下载了不同的版本，请在此处替换文件名）：
yum-y localinstall jdk-8u111-linux-x64.rpm
# or
rpm-ivh jdk-8u111-linux-x64.rpm123123
现在Java应该安装在/usr/java/jdk1.8.0_111/jre/bin/java，并从/usr/bin/java链接。
安装 Elasticsearch
Elasticsearch可以通过添加Elastic的软件包仓库与软件包管理器一起安装。
运行以下命令将Elasticsearch公共GPG密钥导入rpm：
#
rpm--import
在基于RedHat的发行版的/etc/yum.repos.d/目录中创建一个名为elasticsearch.repo的文件,其中包括：
echo'[elasticsearch-5.x]
name=Elasticsearch repository for 5.x packages
baseurl=
gpgcheck=1
gpgkey=
enabled=1
autorefresh=1
type=rpm-md
'| sudo tee/etc/yum.repos.d/elasticsearch.repo123456789123456789
Elasticsearch源创建完成之后，通过makecache查看源是否可用，然后通过yum安装Elasticsearch：
yum makecache
yum install elasticsearch-y1212
要将Elasticsearch配置为在系统引导时自动启动，请运行以下命令：
sudo/bin/systemctl daemon-reload
sudo/bin/systemctl enable elasticsearch.service1212
Elasticsearch可以按如下方式启动和停止：
sudo systemctl start elasticsearch.service
sudo systemctl stop elasticsearch.service1212
这些命令不会提供有关Elasticsearch是否已成功启动的反馈。相反，此信息将写入位于/ var/ log/ elasticsearch/中的日志文件中。
默认情况下，Elasticsearch服务不会记录systemd日志中的信息。要启用journalctl日志记录，必须从elasticsearch中的ExecStart命令行中删除–quiet选项。服务文件。
#注释24行的--quiet\
vim/etc/systemd/system/multi-user.target.wants/elasticsearch.service1212
当启用systemd日志记录时，使用journalctl命令可以获得日志记录信息：
使用tail查看journal：
sudo journalctl-f11
要列出elasticsearch服务的日记帐分录：
sudo journalctl--unit elasticsearch11
要从给定时间开始列出elasticsearch服务的日记帐分录：
sudo journalctl--unit elasticsearch--since"2017-1-4 10:17:16"
# since表示指定时间之前的记录123123
使用man journalctl查看journalctl更多使用方法
检查Elasticsearch是否正在运行
您可以通过向localhost上的端口9200发送HTTP请求来测试Elasticsearch节点是否正在运行：
curl-XGET'localhost:9200/?pretty'
1212
我们能得到下面这样的回显：
{
"name":"De-LRNO",
"cluster_name":"elasticsearch",
"cluster_uuid":"DeJzplWhQQK5uGitXr8jjA",
"version":{
"number":"5.1.1",
"build_hash":"5395e21",
"build_date":"2016-12-06T12:36:15.409Z",
"build_snapshot": false,
"lucene_version":"6.3.0"
},
"tagline":"You Know, for Search"
}1234567891011121312345678910111213
配置 Elasticsearch
Elasticsearch从默认的/etc/elasticsearch/elasticsearch.yml加载配置文件，
配置文件的格式考：
[root@linuxprobe~]# egrep-v"^#|^$"/etc/elasticsearch/elasticsearch.yml
[root@linuxprobe~]# egrep-v"^#|^$"/etc/elasticsearch/elasticsearch.yml
node.name: node-1
path.data:/var/lib/elasticsearch
path.logs:/var/log/elasticsearch
network.host: 10.1.1.53#默认localhost，自定义为ip
http.port: 920012345671234567
RPM还具有系统配置文件（/etc/sysconfig/elasticsearch），允许您设置以下参数：
[root@linuxprobe elasticsearch]# egrep-v"^#|^$"/etc/sysconfig/elasticsearch
ES_HOME=/usr/share/elasticsearch
JAVA_HOME=/usr/java/jdk1.8.0_111
CONF_DIR=/etc/elasticsearch
DATA_DIR=/var/lib/elasticsearch
LOG_DIR=/var/log/elasticsearch
PID_DIR=/var/run/elasticsearch12345671234567
日志配置
Elasticsearch使用Log4j 2进行日志记录。 Log4j 2可以使用log4j2配置。属性文件。 Elasticsearch公开单个属性${sys：es。日志}，可以在配置文件中引用以确定日志文件的位置;这将在运行时解析为Elasticsearch日志文件的前缀。
例如，如果您的日志目录是/var/log/elasticsearch并且您的集群名为production，那么${sys：es。 logs}将解析为/var/log/elasticsearch/production。
默认日志配置存在：/etc/elasticsearch/log4j2.properties
安装 Kibana
Kibana的RPM可以从ELK官网或从RPM存储库下载。它可用于在任何基于RPM的系统（如OpenSuSE，SLES，Centos，Red Hat和Oracle Enterprise）上安装Kibana。
导入Elastic PGP Key
我们使用弹性签名密钥（PGP密钥D88E42B4，可从）签名所有的包，指纹：
rpm--import
创建kibana源
echo'[kibana-5.x]
name=Kibana repository for 5.x packages
baseurl=
gpgcheck=1
gpgkey=
enabled=1
autorefresh=1
type=rpm-md
'| sudo tee/etc/yum.repos.d/kibana.repo123456789123456789
kibana源创建成功之后，makecache后使用yum安装kibana：
yum makecache&& yum install kibana-y11
使用systemd运行Kibana
要将Kibana配置为在系统引导时自动启动，请运行以下命令：
sudo/bin/systemctl daemon-reload
sudo/bin/systemctl enable kibana.service1212
Kibana可以如下启动和停止
sudo systemctl start kibana.service
sudo systemctl stop kibana.service1212
配置Kibana
Kibana默认从/etc/kibana/kibana.yml文件加载其配置。
参考：
注意：本实验教程把localhost都改成服务器IP，如果不更改localhost，需要设置反向代理才能访问到kibana。
在同一服务器上安装一个Nginx反向代理，以允许外部访问。
安装nginx
配置Kibana在localhost上监听，必须设置一个反向代理，允许外部访问它。本文使用Nginx来实现发向代理。
创建nginx官方源来安装nginx
#
echo'[nginx]
name=nginx repo
baseurl=$releasever/$basearch/
gpgcheck=0
enabled=1
'| sudo tee/etc/yum.repos.d/nginx.repo1234567812345678
使用yum安装nginx和httpd-tools
yum install nginx httpd-tools-y11
使用htpasswd创建一个名为“kibanaadmin”的管理员用户（可以使用其他名称），该用户可以访问Kibana Web界面：
[root@linuxprobe~]# htpasswd-c/etc/nginx/htpasswd.users kibanaadmin
New password:#自定义
Re-type new password:
Adding password for user kibanaadmin12341234
使用vim配置nginx配置文件
[root@linuxprobe~]# egrep-v"#|^$"/etc/nginx/conf.d/kibana.conf
server{
listen 80;
server_name kibana.aniu.co;
access_log/var/log/nginx/kibana.aniu.co.access.log main;
error_log/var/log/nginx/kibana.aniu.co.access.log;
auth_basic"Restricted Access";
auth_basic_user_file/etc/nginx/htpasswd.users;
location/{
proxy_pass ;
proxy_http_version 1.1;
proxy_set_header Upgrade$http_upgrade;
proxy_set_header Connection'upgrade';
proxy_set_header Host$host;
proxy_cache_bypass$http_upgrade;
}
}12345678910111213141516171234567891011121314151617
filebeat安装使用
1.配置文件含义
2.启动filebeat测试
输出信息
filebeat找不到配置文件时可以指定配置文件
./filebeat-c/usrlocal/filebeat/filebeat.yml
-e将启动信息输出到屏幕上
filebeat进程日志
filebeat本身运行的日志默认位置${install_path}/logs/filebeat
要修改filebeat的日子路径，可以添加一下内容在filebeat.yml配置文件
查看可用的模块列表
模块配置文件保存位置
${install_path}/filebeat/modules.d/
启动nginx模块
sudo./filebeat modules enable nginx
1.使用模板默认路径
nginx模块配置收集日志的默认路径是
CentOS
Ubuntu
测试
2.nginx日志不在默认存储路径下时
如果不设置此项，filebeat将根据你的操作系统选择使用默认路径
注意：此种方式十一追加的方式和模块默认路径合并在一起的，也就是说使用了此种方式，nginx模块还是回去默认路径下查找。
3.配置ouput
filebeat是用于搜集日志，之后把日志推送到某个接受的系统中，这些系统或者装置在filebeat中称为output。
output类型
完整的output列表在filebeat官方文档
filebeat在运行的时候，以上的output只可配置其中一种
输出到console
输出完整的json数据
前台运行filebeat
如果只想输出完整json数据中的某些字段
其他输出目标:
输出到elasticsearch
输出到 logstash
有时候处于实验目的，可能需要重新读取日志文件，这个时候需要删除安装目录下的 data文件夹，重新运行 filebeat即可。
[图片上传失败...(image-c04404-1650615591430)]
报错
假如出现如下报错，请删制除安装目录中的data文件夹
查看一下是否有一个进程已经处于运行状态，尝试杀死此进程，之后重新运行filebeat
可以在配置中定义处理器，以便在事件发送到配置的输出之前对其进行处理。libbeat库提供以下处理器∶
工作方式
每个处理器都接收一个事件，对该事件应用已定义的操作，然后返回该事件。如果定义
处理器列表，则将按照在Filebeat配置文件中定义的顺序执行它们。
去重日志中的某些行
配置位置在 filebeat.yml文件中
删除所有以 DBG:开头的行
像输出的信息中添加某些自定义字段
从事件中删除某些字段
以上配置，将删除字段: field1和 field2
ignore_missing的值为 false表示，字段名不存在则会返回错误。为true不会返回错误。
注意:事件中的"@timestamp和 type字段是无法删除的。
下面的配置示例是删除顶级字段 input和顶级字段 ecs中的 version字段。
