搭建rsyslog日志服务器和loganalyzer日志分析工具.docx

rsyslogQ志效劳器和IOgalIaIyZer目志分析工具一、rsyslog的介绍3rsyslog目志效劳器的优势：3rsyslog的新功能：3rsyslog的软件包3rsyslog配建<+(etcrsyslog.conf)的详解5二、Iogrotate日志滚动的介绍8Iogrotate的软件包8IOgrotate的面乙置文件etclogrotate.conf详斛9三、rsyslog的存储途径10a3日志存储在指定的文件中10b日志存储在指定的rsyslog效劳器中11rsyslog客户端的配置：12rsyslog效劳器的配置：12rsyslog+Mysql效劳器端的配置：15rsyslog客户端的配置：19验证客户端的日志文件存放位置：20四、基于Web的Ioganalyzer日志分析工具的搭建21rsyslog效芬器的配置步骤：211、安装d,php,php-gd,php-mysql212、下载Ioganalyzer源码包223、执行脚本234、修改d的配置文件，新建一个虚拟主机235、重启效劳，创立IoganaIyZer的数据库，并授权23246、安装IoganalyzerLinux的日志记录了用户在系统上一切操作，看日志去分析系统的状态是运维人员必须掌握的根本功。rsyslog日志效劳器的优势：1、日志统一，集中式管理2、日志实时传送到一个更加平安的远端效劳器上，真正记录用户行为，使日志的2次更改可能性大大降低，从而能够对日志进行真实回放，便于问题追踪。rsyslog的新功能：rsyslog是一个加强版的SySIog,具有各种各样的新功能，典型的有：1、直接将日志写入到数据库。2、日志队列（内存队列和磁盘队列）。3、灵活的模板机制，可以得到多种输出格式。4、插件式结构，多种多样的输入、输出模块。5、可以把日志存放在Mysql,PostgreSQL,Orade等数据库中rsyslog的软件包rootjielrpm-qagreprsyslogrsyslog-5.8.10-6.el6.x86_64#软件包系统默认已经安装rootjiel#rpm-qlrsyslog#只显示了局部信息etclogrotate.dsyslogetcrsyslog.conf#rsyslog的配置文件lib64rsyslogimklog.soMsyslog的模块，i开头的是输入模块lib64rsyslogimmark.solib64rsyslogimpstats.solib64rsyslogimptcp.solib64rsyslogimtcp.solib64rsyslogimudp.solib64rsyslogimuxsock.solib64rsysloglmnet.solib64rsysloglmnetstrms.so/Iib64/rsyslog/lmnsd_ptcp.solib64rsysloglmregexp.solib64rsysloglmstrmsrv.solib64rsysloglmtcpclt.solib64rsysloglmtcpsrv.solib64rsysloglmzlibw.solib64rsyslogommail.so#0开头的模块是输出模块lib64rsyslogomprog.solib64rsyslogomruleset.solib64rsyslogomtesting.solib64rsyslogpmlastmsg.sorsyslog配置文件(etcrsyslog.conf)的详解#MODULES日志的模块#SModLoadimuxsock#imUXSOCk是模块名，支持本地系统日志的模块SModLoadimklog#imklog是模块名，支持内核日志的模块#$ModLoadimmark#immark是模块名，支持日志标记#$ModLoadimudp#imUPd是模块名，支持UdP协议#$lJDPSerVerRUn514#允许514端口接收使用UDP和TCP协议转发过来的日志#$MOdLoadimtcp#imtcp是模块名，支持tcp协议#$lnputTCPServerRun514#GLOBALDIRECTIVES#定义全局日志格式的指令SActionFiIeDefauItTempIateRSYSLOGJraditiOnaIFileFormat#定义日志格式默认模板SlncIudeConfigetcrsyslog.d*.conf#载入rsyslog.d文件中所有以conf结尾的文件#RULES#*.info;mail.none;authpriv.none;cron.nonevarlogmessages#记录所有日志类型的info级别以及大于info级别的信息到varlogmessages,但是mail邮件信息，authpriv验证方面的信息和Cron时间#任务相关的信息除外aUthpriv.*varlogsecureIIthPriV验证相关的所有信息存放在var/logSeCUremail.*varlogmaillog#邮件的所有信息存放在varlogmaillog;这里有一个-符号，表示是使用异步的方式记录，因为日志一般会比拟大/cron*.emerg*（*表示所有用户）#记录所有的大于等于emerg级别信息，以wall方式发送给每个登录到系统的人uucp,news.critvarlogspooler#记录uucp,news.crit等存放在varlogSPOoIerIocal7.*varlogboot.log#本地效劳器的启动的所有日志存放在varlogboot.log中#rsyslog.conf中日志规那么的定义的格式facitlity.priorityTarget#facility:日志设备（可以理解为日志类型）：auth#Pam产生的日志，认证日志authpriv#ssh,ftp等登录信息的验证信息，认证授权认证cron#时间任务相关kern#内核Ipr#打印mail#邮件mark（syslog）#rsyslog效劳内部的信息,时间标识news#新闻组user#用户程序产生的相关信息UUCP#iIniXtouni×copy,uni×主机之间相关的通讯local1-7#自定义的日志设备#priority:级别日志级别:debug#有调式信息的，日志信息最多info#一般信息的日志，最常用notice#最具有重要性的普通条件的信息warning,warn#警告级别ereerror#错误级别，阻止某个功能或者模块不能正常工作的信息crit#严重级别，阻止整个系统或者整个软件不能正常工作的信息alert#需要立刻修改的信息emergzpanic#内核崩溃等严重信息#从上到下，级别从低到高，记录的信息越来越少，如果设置的日志内性为err,那么日志不会记录比err级别低的日志，只会记录比err更高级别的日志，也包括err本身的日*心、OTarget：#文件，lvarlogmessages#用户，root,*（表示所有用户）暗道ICOMMAND二、IOgrOtate日志滚动的介绍所有的日志文件都会随着时间的推移和访问次数的增加而迅速增长，因此必须对日志文件进行定期清理以免造成磁盘空间的不必要的浪费，同时也加快了管理员查看日志所用的时间。因而Iogrotate就非常有存在的必要了，Redhat系统中已经默然安装Iogrotate且利用Iogrotate设置了相关对rsyslog日志迅速增长的设置。IOgrOtate的执行由Crond效劳实现。在etccron.daily目录中，有个文IogrOtate,它实际上是个shellscript,用来启动Iogrotate0IogrOtate程序每天由CrOn在指定的时间(/etc/CrOntab)启动。Iogrotate的软件包rootjiel#rpm-qagrepIogrotatelogrotate-3.7.8-16.el6.×86,64#日志回滚的软件包默认已经安装rootjiel#rpm-qlIogrotateetccron.dailylogrotateetclogrotate.conf#日志回滚的配置文件etclogrotate.d#日志回滚的子目录usrsbinlogrotatevarliblogrotate.statusIogrotate的配置文件etclogrotate.conf详斛rootjiel#sed-e7A#/d'-e'/A$/d'etclogrotate.confweekly#每周清理一次日志文件rotate4#保存四个轮换日志create#去除旧日志的同时，创立新的空日志文件datee×t#使用日期为后缀的回滚文件#可以去varlog目录下看看includeetclogrotate.d#包含etclogrotate.d目录下的所有配置文件varlogwtmp（varlogwtmp这个日志文件按照下面的设定日志回滚monthly#每月轮转一次create0664rootutmp#设置WtmP这个日志文件的权限，属主，属组minsizeIM#日志文件必须大于IM才会去轮换（回滚）rotate1#保存一个轮换日志)varlogbtmp#如果文件丧失不报错missingokmonthlycreate0600rootutmprotate1rootjielcatetclogrotate.dsyslogvarlogcron#这些文件是rsyslog.conf文件中全局配置定义中指定的Target的路径varlogmaillogvarlogmessagesvarlogsecurevarlogspooler(Sharedscriptspostrotate#轮换之后重启rsyslog效劳binkill-HUPcatvarrunsyslogd.pid2>devnul2>devnull11trueendscript)三、rsyslog的存储途径a日志存储在指定的文件中rootjiel#vimetcrsyslog.conf#=注释掉两行，然后添加一行#*.info;mail.none;authpriv.none;cron.nonevarlogmessages*.*/systemlog/jie.logftauthpriv.*varlogsecure#varlogmessages#*.info;mail.none;authpriv.none;cron.none=#这行表示，所有facitlity（设施）的info消息记录，及info级别以上的记录都会保存到varlogmessages文件中，除了邮件的所有信息，认证授权的所有信息，方案任务的所有信息。#authpriv.*varlogsecure=#这行表示认证授权的所有信息，都会保存在varlogSeCUre文件中*.*systemlogjie.log=#添加的这行表示所有设施的所有信息都会保存在systemlogjie.log文件中，而且此文件不必自己创立，启动rsyslog效劳时系统会自动创立，而且权限都是600b日志存储在指定的rsyslog效静器中rsyslog客户端的配置：rootjie3#vimetcrsyslog.conf#*.info;mail.none;authpriv.none;cron.nonevarlogmessages*.*172.16.22.1#添加此行，注释掉其他两行ftauthpriv.*varlogsecure#rootjie3servicersyslogrestartShuttingdownsystemlogger:OKStartingsystemlogger:OKrsyslog效劳器的配置：rootjiel#grep-v"A#"etcrsyslog.confgrep-v"A$"#修改配置文件只需开启两个模块和协议支持的端口SModLoadimu×sock#providessupportforlocalsystemlogging(e.g.vialoggercommand)SModLoadimklog#provideskernelloggingsupport(previouslydonebyrklogd)SModLoadimudp#开启支持UPd的模块$UDPServerRun514#允许接收udp514的端口传来的日志ModLoadimtcp#开启支持tcp的模块JlnputTCPServerRun514#允许接收tcp514的端口传来的日志SActionFiIeDefauItTempIateRSYSLOGJTraditionaIFiIeFormatJlncIudeConfigetcrsyslog.d*.conf*.info;mail.none;authpriv.none;cron.nonevarlogmessagesauthpriv.*varlogsecuremail.*varlogmaillogcron.varlogcron.emerguucpznews.critvarlogspoolerIocal7.*varlogboot.logStemplateSpiceTmpI,"%TIMES7AMP%.%TIMESlAMP:date-subseconds%syslogtag%syslogseverity-text%:%msg:sp-if-no-lst-sp%msg:drop-last-lf%n"programname,Startswithz',spice-vdagent"varlogSPiCe-Vdagent.log;SPiCeTmPl#rootjiel#servicersyslogrestartShuttingdownsystemlogger:OKStartingsystemlogger:OK思路:1、安装mysql效劳器，且要安装rsyslog连接mysql的驱动2、解决生成rsyslog效劳器的日志特定的格式，3、在rsyslog配置文件中加载连接mysql的模块，把日志存储到mysql中rsyslog+Mysql效劳器端的配置：rootjiellog#yum-yinstallmysql-serverrsyslog-mysqlmysql# 安装mysql效劳器和rsyslog连接mysql的驱动rootjiel#rpm-qlrsyslog-mysql# 查看rsyslog-mysql安装生成了那些文件lib64rsyslogommysql.soroot()jielservicemysqldstartStartingmysqld:OKrootjielmysqladmin-urootpasswordredhat# 设置mysql的密码rootjiel#mysql-uroot-pEnterpassword:#登录mysql效劳器mysql>showdatabases;#显示数据库效劳器中没有日志的数据库+IDatabase|Iinformation_schemaImysqlIItestI+3 rowsinset(0.00sec)mysql>qByerootjiel#日志文件Sql脚本的路径rootjielrsyslog-mysql-5.8.10#IscreateDB.sqlroot()jielrsyslog-mysql-5.8.10#mysql-uroot-p<createDB.sqlEnterpassword:#导入日志文件的SqI脚本，生成日志文件的数据库rootjielrsyslog-mysql-5.8.10#mysql-uroot-pEnterpassword:mysql>showdatabases;+IDatabase+Iinformation_schemaISyslogImysqlItest4 rowsinset(0.01sec)mysql>useSyslog;#Syslog即是记录日志文件的数据库ReadingtableinformationforcompletionoftableandcolumnnamesYoucanturnoffthisfeaturetogetaquickerstartupwith-ADatabasechangedmysql>showtables;+ITables_in_SyslogISystemEventsISystemEventsProperties2rowsinset(0.00sec)mysql>grantallonSyslog.*to,syslogroot,127.0.0.1,identifiedby,syslogpass,;#设置用户访问数据库效劳器中Syslog数据库的用户名和密码QueryOK,0rowsaffected(0.00sec)mysql>grantallonSyslog.*to,syslogroot,(),172.16.22.1,identifiedby'syslogpass,;QueryOK,0rowsaffected(0.04sec)mysql>flushprivileges;#重读授权表，及时生效QueryOK,0rowsaffected(0.00sec)mysql>qByerootjielrsyslog-mysql-5.8.10#cd/rootjiel/#grep-v"A$"etcrsyslog.confgrep-v",ft"#Vim/etc/ryslog.conf#SModLoadimu×sock$ModLoadimklog$ModLoadimudp#加载udp的模块JUDPServerRun514#允许接收Udp514的端口传来的日志$ModLoadimtcp#加载tcp的模块SlnputTCPServerRun514#允许接收tcp514的端口传来的日志SModLoadommysql#加载mysql的模块SActionFileDefaultTemplateRsYSLOG-TraditionaIFiIeFormatJlncIudeConfigetcrsyslog.d*.conf*.*:ommysql:172.16.22.l,Syslogzsyslogrootzsyslogpass#添加这行，把其他行都注释掉，这行表示把所有的设施的所有日志都记录到数据库效劳器中的SySk)g数据库中，以Syslogroot用户，syslogpass密码访问数据库Iocal7.*varlogboot.logStemplateSpiceTmpl/'%TIMESTAMP%.%TIMESTAMP:date-subseconds%syslogtag%syslogseverity-te×t%:%msg:sp-if-no-lst-sp%msg:drop-last-lf%n":PrOgramname,Startswithz,spice-vdagent"varlogspice-vdagent.IogjSpiceTmpI#rootjiel/#servicersyslogrestartShuttingdownsystemlogger:OKStartingsystemlogger:OKrsyslog客户端的配置：rootjie3sed-e7ScI,-e7A#/d'etcrsyslog.conf* #/etc/rsyslog.conf#SModLoadimu×sock#providessupportforlocalsystemlogging(e.g.vialoggercommand)SModLoadimklog#provideskernelloggingsupport(previouslydonebyrklogd)SActionFiIeDefauItTempIateRSYSLOG_TraditionalFileFormatSlncIudeConfigetcrsyslog.d*.conf* .*172.16.22.1#添加这行用于和效劳器通信* .*:ommysql:172.16.22.1,Syslogzsyslogrootzsyslogpass#添加这行，把其他行都注释掉，这行表示把所有的设施的所有日志都记录到数据库效劳器中的Syslog数据库中，以Syslogroot用户，syslogpass密码访问数据库StemplateSpiceTmplz"%TIMESTAMP%.%TIMESTAMP:二date-subseconds%syslogtag%syslogseverity-te×t%:%msg:sp-if-no-lst-sp%msg二:drop-last-lf%n":PrOgramname,Startswithz,spice-vdagent"varlogspice-vdagent.IogjSpiceTmpI#rootjie3servicersyslogrestartOK OK Shuttingdownsystemlogger:Startingsystemlogger:验证客户端的日志文件存放位置:1）验证是否存放在客户端本地2）验证是否存在效劳器的varlogmessages里面3）验证是否存放在效劳器的mysql数据库中虽然日志存放在mysql数据库效劳器中，是解决了日志集中管理，但是存放在mysql效劳器中让管理人员头疼的是不便于查看这些大量的日志,于是乎搭建一个日志分析工具就非常的有必要性了。四、基于Web的Ioganalyzer日志分析工具的搭建本环境是针对上面的日志存放在mysql效劳器中不方便查看，配置Ioganalyzer日志分析工具来分析查看日志rsyslog效当器的配置步骤：1、安装d,php,php-gd,php-mysqld用来提供web效劳php使叩ache支持php,因为Ioganalyzer是用php编写php-mysql用于Ioganalyzer连接数据库php-gd用于绘图rootjielyum-yinstalldphpphp-mysqlphp-gdrootjiel#mkdir-pvwebloganalyzer#存放Ioganalyzer的网页文件mkdir:createddirectory'web'mkdir:createddirectorywebloganalyzer,2、下载Ioganalyzer源码包rootjielIsrootjiel#rootjielIsrootjielrootjielloganalyzer-3.6.4#IsChangeLogcontribCOPYINGdocINSTALLsrcrootjielloganalyzer-3.6.4#mvsrc*weblOganalyzer/#把SrC目录的所有文件移到存放Ioganalyzer的文件中root(三)jielloganalyzer-3.6.4#cdcontrib/rootjielcontrib#Isconfigure.shsecure.shrootjielcontrib#mv*.shwebloganalyzer#把脚本文件也移到Ioganalyzer文件中3、执行脚本root()jielCOntrib#Cdwebloganalyzerrootjielloganalyzer#bashconfigre.sh4、修改d的配置文件，新建一个虚拟主机vim/etc/dconfd.conf#ServerName172.16.22.1:80#DocumentRoot"varwwwhtml"#注释掉默认存放网页文件的路径<VirtualHost*:80>DocumentRootwebloganalyzer#指定存放IoganaIyZer网页文件的路径<VirtualHost>#5、重启效劳，创立IOganalyZer的数据库，并授权rootjielloganalyzer#servicedrestartStoppingd:OKStartingd:OKrootjielloganalyzer#mysql-uroot-pEnterpassword:mysql>createdatabaseloganalyzer;QueryOK,1rowaffected(0.04sec)mysql>grantallonIoganalyzer.*tolyzeruser(),172.16.22.1,identifiedby'Iyzeruser'QueryOK,Orowsaffected(0.00sec)mysql>flushprivileges;QueryOK,0rowsaffected(0.00sec)6、安装Ioganalyzer1.