centos elk？CentOS 7
关于linux学习路线的问题 请教前辈
很多同学接触Linux不多，对Linux平台的开发更是一无所知。而现在的趋势越来越表明，作为一个优秀的软件开发人员，或计算机IT行业从业人员，掌握Linux是一种很重要的谋生资源与手段。下来我将会结合自己的几年的个人开发经验，及对 Linux，更是类UNIX系统，及开源软件文化，谈谈Linux的学习方法与学习中应该注意的一些事。
就如同刚才说的，很多同学以前可能连Linux是什么都不知道，对UNIX更是一无所知。所以我们从最基础的讲起，对于Linux及UNIX的历史我们不做多谈，直接进入入门的学习。
Linux入门是很简单的，问题是你是否有耐心，是否爱折腾，是否不排斥重装一类的大修。没折腾可以说是学不好Linux的，鸟哥说过，要真正了解Linux的分区机制，对LVM使用相当熟练，没有20次以上的Linux装机经验是积累不起来的，所以一定不要怕折腾。
由于大家之前都使用Windows，所以我也尽可能照顾这些“菜鸟”。我的推荐，如果你第一次接触Linux，那么首先在虚拟机中尝试它。虚拟机我推荐Virtual Box，我并不主张使用VM，原因是VM是闭源的，并且是收费的，我不希望推动盗版。当然如果你的Money足够多，可以尝试VM，但我要说的是即使是VM，不一定就一定好。付费的软件不一定好。首先，Virtual Box很小巧，Windows平台下安装包在80MB左右，而VM动辄600MB，虽然功能强大，但资源消耗也多，何况你的需求Virtual Box完全能够满足。所以，还是自己选。如何使用虚拟机，是你的事，这个我不教你，因为很简单，不会的话Google或Baidu都可以，英文好的可以直接看官方文档。
现在介绍Linux发行版的知识。正如你所见，Linux发行版并非Linux，Linux仅是指操作系统的内核，作为科班出生的你不要让我解释，我也没时间。我推荐的发行版如下：
UBUNTU适合纯菜鸟，追求稳定的官方支持，对系统稳定性要求较弱，喜欢最新应用，相对来说不太喜欢折腾的开发者。
Debian，相对UBUNTU难很多的发行版，突出特点是稳定与容易使用的包管理系统，缺点是企业支持不足，为社区开发驱动。
Arch，追逐时尚的开发者的首选，优点是包更新相当快，无缝升级，一次安装基本可以一直运作下去，没有如UBUNTU那样的版本概念，说的专业点叫滚动升级，保持你的系统一定是最新的。缺点显然易见，不稳定。同时安装配置相对Debian再麻烦点。
Gentoo，相对Arch再难点，考验使用者的综合水平，从系统安装到微调，内核编译都亲历亲为，是高手及黑客显示自己技术手段，按需配置符合自己要求的系统的首选。
Slackware与Gentoo类似。
CentOS，社区维护的RedHat的复刻版本，完全使用RedHat的源码重新编译生成，与RedHat的兼容性在理论上来说是最好的。如果你专注于Linux服务器，如网络管理，架站，那么CentOS是你的选择。
LFS，终极黑客显摆工具，完全从源代码安装，编译系统。安装前你得到的只有一份文档，你要做的就是照文档你的说明，一步步，一条条命令，一个个软件包的去构建你的Linux，完全由你自己控制，想要什么就是什么。如果你做出了LFS，证明你的Linux功底已经相当不错，如果你能拿LFS文档活学活用，再将Linux从源代码开始移植到嵌入式系统，我敢说中国的企业你可以混的很好。
你得挑一个适合你的系统，然后在虚拟机安装它，开始使用它。如果你想快速学会Linux，我有一个建议就是忘记图形界面，不要想图形界面能不能提供你问题的答案，而是满世界的去找，去问，如何用命令行解决你的问题。在这个过程中，你最好能将Linux的命令掌握的不错，起码常用的命令得知道，同时建立了自己的知识库，里面是你积累的各项知识。
再下个阶段，你需要学习的是Linux平台的C/C++开发，同时还有Bash脚本编程，如果你对Java兴趣很深还有Java。同样，建议你抛弃掉图形界面的IDE，从VIM开始，为什么是VIM，而不是Emacs，我无意挑起编辑器大战，但我觉得VIM适合初学者，适合手比较笨，脑袋比较慢的开发者。Emacs的键位太多，太复杂，我很畏惧。然后是GCC，Make，Eclipse（Java，C++或者）。虽然将C++列在了Eclipse中，但我并不推荐用IDE开发C++，因为这不是Linux的文化，容易让你忽略一些你应该注意的问题。IDE让你变懒，懒得跟猪一样。如果你对程序调试，测试工作很感兴趣，GDB也得学的很好，如果不是GDB也是必修课。这是开发的第一步，注意我并没有提过一句Linux系统API的内容，这个阶段也不要关心这个。你要做的就是积累经验，在Linux平台的开发经验。我推荐的书如下：C语言程序设计，谭浩强的也可以。C语言，白皮书当然更好。C++推荐C++ Primer Plus，Java我不喜欢，就不推荐了。工具方面推荐VIM的官方手册，GCC中文文档，GDB中文文档，GNU开源软件开发指导（电子书），汇编语言程序设计（让你对库，链接，内嵌汇编，编译器优化选项有初步了解，不必深度）。
如果你这个阶段过不了就不必往下做了，这是底线，最基础的基础，否则离开，不要霍霍Linux开发。不专业的Linux开发者作出的程序是与Linux文化或UNIX文化相背的，程序是走不远的，不可能像Bash，VIM这些神品一样。所以做不好干脆离开。
接下来进入Linux系统编程，不二选择，APUE，UNIX环境高级编程，一遍一遍的看，看10遍都嫌少，如果你可以在大学将这本书翻烂，里面的内容都实践过，有作品，你口头表达能力够强，你可以在面试时说服所有的考官。（可能有点夸张，但APUE绝对是圣经一般的读物，即使是Windows程序员也从其中汲取养分，Google创始人的案头书籍，扎尔伯克的床头读物。）
这本书看完后你会对Linux系统编程有相当的了解，知道Linux与Windows平台间开发的差异在哪？它们的优缺点在哪？我的总结如下：做Windows平台开发，很苦，微软的系统API总在扩容，想使用最新潮，最高效的功能，最适合当前流行系统的功能你必须时刻学习。Linux不是，Linux系统的核心API就100来个，记忆力好完全可以背下来。而且经久不变，为什么不变，因为要同UNIX兼容，符合POSIX标准。所以Linux平台的开发大多是专注于底层的或服务器编程。这是其优点，当然图形是Linux的软肋，但我站在一个开发者的角度，我无所谓，因为命令行我也可以适应，如果有更好的图形界面我就当作恩赐吧。另外，Windows闭源，系统做了什么你更本不知道，永远被微软牵着鼻子跑，想想如果微软说Win8不支持QQ，那腾讯不得哭死。而Linux完全开源，你不喜欢，可以自己改，只要你技术够。另外，Windows虽然使用的人多，但使用场合单一，专注与桌面。而Linux在各个方面都有发展，尤其在云计算，服务器软件，嵌入式领域，企业级应用上有广大前景，而且兼容性一流，由于支持POSIX可以无缝的运行在UNIX系统之上，不管是苹果的Mac还是IBM的AS400系列，都是完全支持的。另外，Linux的开发环境支持也绝对是一流的，不管是C/C++，Java，Bash，Python，PHP，Javascript，。。。。。。就连C#也支持。而微软除Visual Stdio套件以外，都不怎么友好，不是吗？
如果你看完APUE的感触有很多，希望验证你的某些想法或经验，推荐UNIX程序设计艺术，世界顶级黑客将同你分享他的看法。
现在是时候做分流了。大体上我分为四个方向：网络，图形，嵌入式，设备驱动。
如果选择网络，再细分，我对其他的不是他熟悉，只说服务器软件编写及高性能的并发程序编写吧。相对来说这是网络编程中技术含量最高的，也是底层的。需要很多的经验，看很多的书，做很多的项目。
我的看法是以下面的顺序来看书：
APUE再深读–尤其是进程，线程，IPC，套接字
多核程序设计- Pthread一定得吃透了，你很NB
UNIX网络编程–卷一，卷二
TCP/IP网络详解–卷一再看上面两本书时就该看了
5.TCP/IP网络详解–卷二我觉得看到卷二就差不多了，当然卷三看了更好，努力，争取看了
6.Lighttpd源代码-这个服务器也很有名了
7.Nginx源代码–相较于Apache，Nginx的源码较少，如果能看个大致，很NB。看源代码主要是要学习里面的套接字编程及并发控制，想想都激动。如果你有这些本事，可以试着往暴雪投简历，为他们写服务器后台，想一想全球的魔兽都运行在你的服务器软件上。
Linux内核 TCP/IP协议栈–深入了解TCP/IP的实现
如果你还喜欢驱动程序设计，可以看看更底层的协议，如链路层的，写什么路由器，网卡，网络设备的驱动及嵌入式系统软件应该也不成问题了。
当然一般的网络公司，就算百度级别的也该毫不犹豫的雇用你。只是看后面这些书需要时间与经验，所以35岁以前办到吧！跳槽到给你未来的地方！
图形方向，我觉得图形方向也是很有前途的，以下几个方面。
Opengl的工业及游戏开发，国外较成熟。
影视动画特效，如皮克斯，也是国外较成熟。
GPU计算技术，可以应用在浏览器网页渲染上，GPU计算资源利用上，由于开源的原因，有很多的文档程序可以参考。如果能进火狐开发，或google做浏览器开发，应该会很好。
嵌入式方向：嵌入式方向没说的，Linux很重要。
掌握多个架构，不仅X86的，ARM的，单片机什么的也必须得懂。硬件不懂我预见你会死在半路上，我也想走嵌入式方向，但我觉得就学校教授嵌入式的方法，我连学电子的那帮学生都竞争不过。奉劝大家，一定得懂硬件再去做，如果走到嵌入式应用开发，只能祝你好运，不要碰上像Nokia，Hp这样的公司，否则你会很惨的。
驱动程序设计：软件开发周期是很长的，硬件不同，很快。每个月诞生那么多的新硬件，如何让他们在Linux上工作起来，这是你的工作。由于Linux的兼容性很好，如果不是太低层的驱动，基本C语言就可以搞定，系统架构的影响不大，因为有系统支持，你可能做些许更改就可以在ARM上使用PC的硬件了，所以做硬件驱动开发不像嵌入式，对硬件知识的要求很高。可以从事的方向也很多，如家电啊，特别是如索尼，日立，希捷，富士康这样的厂子，很稀缺的。
LDD– Linux驱动程序设计与内核编程的基础读物
深入理解Linux内核–进阶的
Linux源代码–永无止境的
当然你还的看个方面的书，如网络啊什么的。
史上最详细教程:CentOS 7.8 部署 Graylog 3
在使用 Graylog之前，我们尝试过 Kibana，但发现 Kibana在数据格式化、视图归档与分类、账户权限分类等方面存在不足，查询日志时会附带大量干扰信息。因此，我们转向了 Graylog。为了将 ELK体系迁移到新的 EFGM（ElasticSearch、Filebeat、Graylog、MongoDB）体系，我们进行了以下服务的安装与配置：
安装 MongoDB
直接添加源，使用 yum安装 MongoDB。确保 yum命令执行后，启动并启用服务。
安装 ElasticSearch
ElasticSearch 6.8.3与 Graylog3兼容。从官网下载 rpm包并安装，确保配置文件中包括 cluster.name、path.data和 action.auto_create_index参数的正确设置。修改服务配置文件以指定 JAVA_HOME路径，启动服务。
安装 Graylog
通过 rpm安装 Graylog，并在配置文件中设置 password_secret、root_password_sha2和 data_dir参数。根据需要调整 http_bind_address和 http_publish_uri，确保 elasticsearch_hosts配置指向正确的 ES地址。
安装 Sidecar
下载并安装 Sidecar rpm包，配置文件中添加 server_url、server_api_token、node_name、update_interval和 send_status参数。重启 Sidecar后，Sidecar应能正常工作。
安装 Filebeat
通过 rpm安装最新版本的 Filebeat，无需额外配置。启动并启用服务。
配置 Graylog基本功能
建立配置以连接 Sidecar，确保 Sidecar可以正常接收日志。配置 Inputs接收日志数据，并建立 Sidecar配置以分发文件。
处理日志
使用 Pipeline规整日志，删除不必要的字段，提高搜索效率。为单个服务建立独立索引，优化检索与分类。
分类日志与数据流
根据服务类型创建 Stream，配置规则以筛选特定日志数据。管理 Stream规则，确保日志正确分类与归档。
权限管理
创建管理员账户，分配特定 Stream权限给用户，以确保数据安全与访问控制。
解决常见问题
如遇到 ES、Filebeat、Graylog、Sidecar无法启动的问题，检查日志文件以定位问题。对于 ES中的“Deflector exists as an index and is not an alias”错误，使用 curl命令删除相关索引并重启 Graylog服务。
通过以上步骤，我们成功地从 ELK体系迁移到了 EFGM体系，实现了数据格式化、视图归档与分类、账户权限分类等功能的优化，提高了日志查询效率与数据安全性。
如何在CentOS 7上安装Elasticsearch,Logstash和Kibana
您的ELK服务器将需要的CPU，RAM和存储量取决于您要收集的日志的卷。在本教程中，我们将使用具有以下规格的VPS用于我们的ELK服务器：
OS: CentOS 7
RAM: 4GB
CPU: 2
注：根据自己的服务器资源分配各个节点的资源
安装 Java 8
Elasticsearch和Logstash需要Java，所以我们现在就安装它。我们将安装最新版本的Oracle Java 8，因为这是Elasticsearch推荐的版本。
注：建议本地下载完最新版的JDK，然后上传到服务器的/usr/local/src目录
# JDK下载地址：
123123
然后使用此yum命令安装RPM（如果您下载了不同的版本，请在此处替换文件名）：
yum-y localinstall jdk-8u111-linux-x64.rpm
# or
rpm-ivh jdk-8u111-linux-x64.rpm123123
现在Java应该安装在/usr/java/jdk1.8.0_111/jre/bin/java，并从/usr/bin/java链接。
安装 Elasticsearch
Elasticsearch可以通过添加Elastic的软件包仓库与软件包管理器一起安装。
运行以下命令将Elasticsearch公共GPG密钥导入rpm：
#
rpm--import
在基于RedHat的发行版的/etc/yum.repos.d/目录中创建一个名为elasticsearch.repo的文件,其中包括：
echo'[elasticsearch-5.x]
name=Elasticsearch repository for 5.x packages
baseurl=
gpgcheck=1
gpgkey=
enabled=1
autorefresh=1
type=rpm-md
'| sudo tee/etc/yum.repos.d/elasticsearch.repo123456789123456789
Elasticsearch源创建完成之后，通过makecache查看源是否可用，然后通过yum安装Elasticsearch：
yum makecache
yum install elasticsearch-y1212
要将Elasticsearch配置为在系统引导时自动启动，请运行以下命令：
sudo/bin/systemctl daemon-reload
sudo/bin/systemctl enable elasticsearch.service1212
Elasticsearch可以按如下方式启动和停止：
sudo systemctl start elasticsearch.service
sudo systemctl stop elasticsearch.service1212
这些命令不会提供有关Elasticsearch是否已成功启动的反馈。相反，此信息将写入位于/ var/ log/ elasticsearch/中的日志文件中。
默认情况下，Elasticsearch服务不会记录systemd日志中的信息。要启用journalctl日志记录，必须从elasticsearch中的ExecStart命令行中删除–quiet选项。服务文件。
#注释24行的--quiet\
vim/etc/systemd/system/multi-user.target.wants/elasticsearch.service1212
当启用systemd日志记录时，使用journalctl命令可以获得日志记录信息：
使用tail查看journal：
sudo journalctl-f11
要列出elasticsearch服务的日记帐分录：
sudo journalctl--unit elasticsearch11
要从给定时间开始列出elasticsearch服务的日记帐分录：
sudo journalctl--unit elasticsearch--since"2017-1-4 10:17:16"
# since表示指定时间之前的记录123123
使用man journalctl查看journalctl更多使用方法
检查Elasticsearch是否正在运行
您可以通过向localhost上的端口9200发送HTTP请求来测试Elasticsearch节点是否正在运行：
curl-XGET'localhost:9200/?pretty'
1212
我们能得到下面这样的回显：
{
"name":"De-LRNO",
"cluster_name":"elasticsearch",
"cluster_uuid":"DeJzplWhQQK5uGitXr8jjA",
"version":{
"number":"5.1.1",
"build_hash":"5395e21",
"build_date":"2016-12-06T12:36:15.409Z",
"build_snapshot": false,
"lucene_version":"6.3.0"
},
"tagline":"You Know, for Search"
}1234567891011121312345678910111213
配置 Elasticsearch
Elasticsearch从默认的/etc/elasticsearch/elasticsearch.yml加载配置文件，
配置文件的格式考：
[root@linuxprobe~]# egrep-v"^#|^$"/etc/elasticsearch/elasticsearch.yml
[root@linuxprobe~]# egrep-v"^#|^$"/etc/elasticsearch/elasticsearch.yml
node.name: node-1
path.data:/var/lib/elasticsearch
path.logs:/var/log/elasticsearch
network.host: 10.1.1.53#默认localhost，自定义为ip
http.port: 920012345671234567
RPM还具有系统配置文件（/etc/sysconfig/elasticsearch），允许您设置以下参数：
[root@linuxprobe elasticsearch]# egrep-v"^#|^$"/etc/sysconfig/elasticsearch
ES_HOME=/usr/share/elasticsearch
JAVA_HOME=/usr/java/jdk1.8.0_111
CONF_DIR=/etc/elasticsearch
DATA_DIR=/var/lib/elasticsearch
LOG_DIR=/var/log/elasticsearch
PID_DIR=/var/run/elasticsearch12345671234567
日志配置
Elasticsearch使用Log4j 2进行日志记录。 Log4j 2可以使用log4j2配置。属性文件。 Elasticsearch公开单个属性${sys：es。日志}，可以在配置文件中引用以确定日志文件的位置;这将在运行时解析为Elasticsearch日志文件的前缀。
例如，如果您的日志目录是/var/log/elasticsearch并且您的集群名为production，那么${sys：es。 logs}将解析为/var/log/elasticsearch/production。
默认日志配置存在：/etc/elasticsearch/log4j2.properties
安装 Kibana
Kibana的RPM可以从ELK官网或从RPM存储库下载。它可用于在任何基于RPM的系统（如OpenSuSE，SLES，Centos，Red Hat和Oracle Enterprise）上安装Kibana。
导入Elastic PGP Key
我们使用弹性签名密钥（PGP密钥D88E42B4，可从）签名所有的包，指纹：
rpm--import
创建kibana源
echo'[kibana-5.x]
name=Kibana repository for 5.x packages
baseurl=
gpgcheck=1
gpgkey=
enabled=1
autorefresh=1
type=rpm-md
'| sudo tee/etc/yum.repos.d/kibana.repo123456789123456789
kibana源创建成功之后，makecache后使用yum安装kibana：
yum makecache&& yum install kibana-y11
使用systemd运行Kibana
要将Kibana配置为在系统引导时自动启动，请运行以下命令：
sudo/bin/systemctl daemon-reload
sudo/bin/systemctl enable kibana.service1212
Kibana可以如下启动和停止
sudo systemctl start kibana.service
sudo systemctl stop kibana.service1212
配置Kibana
Kibana默认从/etc/kibana/kibana.yml文件加载其配置。
参考：
注意：本实验教程把localhost都改成服务器IP，如果不更改localhost，需要设置反向代理才能访问到kibana。
在同一服务器上安装一个Nginx反向代理，以允许外部访问。
安装nginx
配置Kibana在localhost上监听，必须设置一个反向代理，允许外部访问它。本文使用Nginx来实现发向代理。
创建nginx官方源来安装nginx
#
echo'[nginx]
name=nginx repo
baseurl=$releasever/$basearch/
gpgcheck=0
enabled=1
'| sudo tee/etc/yum.repos.d/nginx.repo1234567812345678
使用yum安装nginx和httpd-tools
yum install nginx httpd-tools-y11
使用htpasswd创建一个名为“kibanaadmin”的管理员用户（可以使用其他名称），该用户可以访问Kibana Web界面：
[root@linuxprobe~]# htpasswd-c/etc/nginx/htpasswd.users kibanaadmin
New password:#自定义
Re-type new password:
Adding password for user kibanaadmin12341234
使用vim配置nginx配置文件
[root@linuxprobe~]# egrep-v"#|^$"/etc/nginx/conf.d/kibana.conf
server{
listen 80;
server_name kibana.aniu.co;
access_log/var/log/nginx/kibana.aniu.co.access.log main;
error_log/var/log/nginx/kibana.aniu.co.access.log;
auth_basic"Restricted Access";
auth_basic_user_file/etc/nginx/htpasswd.users;
location/{
proxy_pass ;
proxy_http_version 1.1;
proxy_set_header Upgrade$http_upgrade;
proxy_set_header Connection'upgrade';
proxy_set_header Host$host;
proxy_cache_bypass$http_upgrade;
}
}12345678910111213141516171234567891011121314151617
