linux日志分析工具(linux服务日志记录)

很多朋友对于linux日志分析工具和linux服务日志记录不太懂，今天就由小编来为大家分享，希望可以帮助到大家，下面一起来看看吧！

Linux 日志分析工具(logwatch)安装及使用

日志在系统管理中扮演着至关重要的角色，它们反映了服务器的运行状态和潜在问题。然而，手动检查所有日志文件既枯燥又容易遗漏关键信息，这可能导致服务器问题未被及时发现。为解决这一难题，日志分析工具应运而生。

日志分析工具通过自动检查和分析日志，并将结果通过邮件发送给管理员，大大减轻了日常管理工作。这些工具能快速识别异常和潜在问题，让管理员能更专注于关键任务。其中一个广受欢迎的工具是 CentOS自带的 logwatch。

在 CentOS上，logwatch默认未安装（通常选择“Basic Server”）。要安装 logwatch，请使用以下命令：

sudo yum install logwatch

安装后，需要配置 logwatch，通过将模板配置文件复制到默认配置文件：

sudo cp/etc/logwatch/conf/logwatch.conf.sample/etc/logwatch/conf/logwatch.conf

默认配置文件中多数内容为注释，删除注释后配置文件如下：

[main]

dir=/var/log

archive=1

email=root

emailbody=on

emailbodyformat=html

emailtitle=LogWatch Report

emailsmtpserver=localhost

emailsmtpport=25

emailsmtpsecure=none

emailfrom=root@yourdomain.com

emailto=root@yourdomain.com

配置文件通常无需进一步修改，logwatch会自动在每天运行，这归功于 crond服务的定时任务。如需立即运行 logwatch，执行以下命令：

sudo logrotate

使用 logwatch后，日志管理变得更为高效，减轻了系统管理员的工作负担。尽管 Linux支持多种日志分析工具，logwatch是 CentOS的一个良好选择。根据个人喜好，可选择其他工具。

十款实用方便的日志分析工具

在日常网络管理工作中，分析日志文件成为掌握网络设备或应用性能数据的关键。这不仅帮助网络管理员及时发现潜在问题，还能快速采取措施解决。为了提升日志分析的效率与准确性，以下分享的十款日志分析工具，将为您的网络管理工作提供有力支持。

1、SolarWinds Log＆Event Manager-专为Windows环境设计的日志分析工具，提供集中监控体验与事件时间检测功能。具备快速响应能力，可自动阻止IP、关闭应用、调整访问权限、禁用帐户和USB设备，最大程度减少风险。适用于大型企业，提供30天免费试用。

2、PRTG Network Monitor-作为强大的网络监控平台，其高度可定制的通知系统允许在任何设备上接收网络性能更新。免费版支持100个传感器，付费版提供更多功能。同样提供30天免费试用。

3、Papertrail-自动扫描日志数据，提供按时间、来源或自定义字段筛选日志事件的便利功能，消除不相关数据。支持检测日志数据趋势，允许按源、数据、严重性级别、工具或消息内容筛选事件。免费计划允许每月监控100 MB数据。

4、Splunk-广泛使用的日志管理平台，实时监控日志与数据，从网络中的任何设备或应用获取日志信息，提供实时搜索栏进行实时与历史数据查看。具备实时警报功能，确保不错过任何问题，有效缩短事件解决时间。免费版本每位用户最多支持500 MB数据。

5、XpoLog-通过网络收集与分析设备日志，提供实时监控与快速问题发现能力，具备AI驱动的错误检测功能，及时控制安全风险，识别性能不佳的日志模式。价格取决于所需用户数、保留数和数据量，Basic版本免费，每天支持1GB，5天数据保留。

6、ManageEngine EventLog Analyzer-提供简化用户体验，从多种安全解决方案中收集日志，具备警报系统帮助导航日志数据。适用于32位与64位的Windows与Linux，提供免费版与高级版。免费版最多支持五个日志源，高级版支持1000个日志源。

7、LOGalyze-面向企业用户的开源日志分析器与网络监控工具，支持实时事件检测功能，适用于设备、Windows主机与Linux/Unix服务器。提供搜索功能查找所需日志数据，允许自定义警报与故障记录。适合寻求经济日志管理解决方案的小型企业。

8、Datadog-记录并搜索来自各种设备与应用程序的日志数据，通过图形展示日志数据变化，通过过滤器确定所需信息。采用“集中存储”方法防止日志泄露。提供14天免费试用。

9、EventTracker-收集与分析Windows事件、Syslog与W3C/IIS日志文件，实时检测安全事件，提供多种警报功能。适用于需要高效日志管理的网络环境。

10、LogDNA-实时监控日志数据，支持基于云的可扩展日志管理解决方案，能够快速配置并从AWS、Heroku、Elastic、Docker等供应商收集日志，处理每秒一百万个日志事件。适用于需要基于云的日志管理方案的企业，免费版支持单个用户。

以上日志分析工具覆盖了从免费到付费的不同需求，无论是小型企业还是大型企业，都能找到适合自己的工具，以提升网络管理与维护的效率与效果。

Linux Trace机日志可视化查找工具

  笔者身边有个经常查询事件日志的Linux Trace机，鉴于查看日志的使用频率较高，笔者想着做个可视化终端来帮助定位查找，提高效率。在命令行中查找日志的过程是：1、当天（24小时内）的日志直接读取日志文件，使用专用工具读取；2、超过24小时的日志需要到相应的日期目录下，根据时间定位到压缩后的日志，解压缩.gz文件，解压缩后就是文本文件，可使用vi编辑器。

  可视化查找工具的目的就是要远程到Trace机，根据给定的日期和时间选择对应的日志，输出到可视化界面上，然后运维人员可以根据关键字定位到日志具体信息，或者更深一步，根据日志直接输出问题。

  平时的积累太重要了，这个方案笔者边写这篇文章边思考，基本没有遇到上面不可解决的大问问题，有些问题笔者以前的文章都测试过。想到做这个工具，笔者心有成竹，都有一套解决方案，可能花时间的还是一些小问题。

  笔者选择LabVIEW作为开发平台，PLINK作为远程连接工具。下面几个问题概括了笔者的一点思路，和大家分享一下。

1、 LabVIEW怎么SSH远程到Trace机

  这个问题笔者以前做过，可以参考文化中-LabVIEW通过PLINK远程到Linux系统，或者愿意花钱的话选择 ALAB SSH工具，参考文章-LabVIEW远程SSH到Linux系统。在这里就不在赘述了。

2、怎么将日志输出到 LabVIEW的字符串显示控件里面

  当天（24小时内）的日志直接使用专用工具读取输出到字符串中，压缩.gz文件怎么处理呢？笔者这里想了四个大同小异的方法：1、gunzip filename.gz，解压文件，然后cat filename，gunzip直接解压是不保留源文件的；2、gunzip–c filename.gz ，可以解压缩并保留源文件，文件的内容直接输出，没有生成解压后文件，这样可以省去cat指令来查看文件；3、gunzip-cv filename.gz> filename，可以保留源文件和压缩后文件，然后使用cat filename；4、zcat  filename.gz 不解压文件可以直接查看文件内容。笔者使用第四种方法。

  那么问题来了，.gz文件要是被人已经解压了，只有解压后的filename？那么可以使用或命令||,逻辑或，当用此连接符连接多个命令时，前面的命令执行成功，则后面的命令不会执行，前面的命令执行失败，后面的命令才会执行。请看笔者在kali linux中的测试。关于两个命令的逻辑关系的连接符，请参考文章-Linux多个SHELL命令怎么顺序执行。

  结合上面的两个部分，笔者来使用labview来测试一下。关于plink中文为啥乱码的问题待回头解决吧，不过Trace机里面也没有中文。命令||的第一条命令没有执行成功，错误信息也没有显示出来，很不错！

3、日志输出到字符串控件，怎么关键字检索

  使用搜索拆分字符串函数，然后将检索的字符串改变颜色高亮显示。笔者做了个简单的例子，但是针对有上万行的来说，这个检索例子需要优化，需要添加事件结构，通过按钮定位到关键字，然后NEXT按钮一步步检索到关键字。这个待笔者这几天把他做出来，先把思路放在这里。

  还有针对日志，需要分析日志结构，通过全日志的分析提炼出问题所在，比如没有哪个类型的报文等等，可以做得智能化一点，提供给运维人员简单实用的提醒信息。

  或者做的更加主动一点，定时分析新的日志，得到一些有用的信息。

  测试前面板：

  测试程序框图：

4、给定日期和时间，怎么定位到日志文件

  日期好说，根据给定的日期信息，按照日期格式进入到对应的目录。时间就没有那么方便了，日志是隔段时间生成一个文件，给定时间后，要根据日志文件的时间来精确定位到目的文件。

  进入到相应日期的目录，找到输出所有文件名，将给定的时间按照格式命令，找到这个时间范围的文件。笔者想到两个方法：1、labview远程到相应日期的目录，使用”ls-l“指令输出所有文件名，所有文件的时间字符串有了，给定的时间字符串有了，那么就是字符串操作的问题了；2、在 Trace上写个shell脚本，根据$1给定的时间参数，查找并输出对应的日志文件的名称，然后labview远程远程调用这个脚本得到文件名。

  这两种方法待笔者更新文章再补充，其实也不难，就是要花时间测试。

5、不仅仅做日志分析，可以添加维护功能

  比如笔者以前写的远程保存交换机配置文件，参考文章-关于交换机保存配置的一点思考，比如指令：PLINK-pw password username@192.168.31.82-ssh-batch"di cu"> switch%date:~,4%%date:~5,2%%date:~8,2%.txt 就可以将华为交换机的配置文件保存到本地。

  还可以将使用PuTTY提供的文件传输工具PSCP(PuTTY Secure Copy client)或者PSFTP工具来远程拷贝Linux程序的配置文件。PSCP和PLINK类似，在exe的目录下运行pscp可以查看其参数说明。

  测试结果如下，那么从Linux服务器拷贝配置文件就方便了。

  设计思路大概如此，笔者做出来的话，不赶工的话一个星期可以调试好。里面有些细节需要优化，笔者觉得labview抑或你使用的其他开发平台，和shell基本结合来完成可能会更加方便和高效。笔者觉得最大难点在于做一个优雅的界面，现在是看脸的时代，要长得好看，还有就是日志分析上面，日志生成过程需要慢慢理清才能根据日志得到准确的解读。