日志切割方法小结[Logrotate、python、shell脚本实现]
⽇志切割⽅法⼩结[Logrotate、python、shell脚本实现]
对于Linux系统安全来说，⽇志⽂件是极其重要的⼯具。不知为何，我发现很多运维同学的服务器上都运⾏着⼀些诸如每天切分Nginx⽇志之类的CRON脚本，⼤家似乎遗忘了Logrotate，争相发明⾃⼰的轮⼦，这真是让⼈沮丧啊！就好⽐明明⾝边躺着现成的性感美⼥，⼤家却忙着⾃娱⾃乐，罪过！logrotate程序是⼀个⽇志⽂件管理⼯具。⽤于分割⽇志⽂件，删除旧的⽇志⽂件，并创建新的⽇志⽂件，起到“转储”作⽤。可以节省磁盘空间。下⾯就对logrotate⽇志轮转操作做⼀梳理记录：
1.  配置⽂件介绍
Linux系统默认安装logrotate⼯具，它默认的配置⽂件在：
/f
/etc/logrotate.d/
另外，如果 /etc/logrotate.d/ ⾥⾯的⽂件中没有设定⼀些细节，则会以/f这个⽂件的设定来作为默认值。
Logrotate是基于CRON来运⾏的，其脚本是/etc/cron.daily/logrotate，⽇志轮转是系统⾃动完成的。
实际运⾏时，Logrotate会调⽤配置⽂件/f。
可以在/etc/logrotate.d⽬录⾥放置⾃定义好的配置⽂件，⽤来覆盖Logrotate的缺省值。
[root@huanqiu_web1 ~]# cat /etc/cron.daily/logrotate
#!/bin/sh
/usr/sbin/logrotate /f >/dev/null 2>&1
EXITVALUE=$?
if [ $EXITVALUE != 0 ]; then
/usr/bin/logger -t logrotate "ALERT exited abnormally with [$EXITVALUE]"
fi
exit 0
上高速的时候收费下高速的时候免费怎么办
如果等不及cron⾃动执⾏⽇志轮转，想⼿动强制切割⽇志，需要加-f参数；不过正式执⾏前最好通过Debug选项来验证⼀下（-d参数），这对调试也很重要
# /usr/sbin/logrotate -f /etc/logrotate.d/nginx
# /usr/sbin/logrotate -d -f /etc/logrotate.d/nginx
logrotate命令格式：
logrotate [] <configfile>
-d, --debug ：debug模式，测试配置⽂件是否有错误。
-f, --force ：强制转储⽂件。
-m, --mail=command ：压缩⽇志后，发送⽇志到指定邮箱。
-s, --state=statefile ：使⽤指定的状态⽂件。
-v, --verbose ：显⽰转储过程。
根据⽇志切割设置进⾏操作，并显⽰详细信息
[root@huanqiu_web1 ~]# /usr/sbin/logrotate -v /f
[root@huanqiu_web1 ~]# /usr/sbin/logrotate -v /etc/logrotate.d/php
根据⽇志切割设置进⾏执⾏，并显⽰详细信息，但是不进⾏具体操作，debug模式
[root@huanqiu_web1 ~]# /usr/sbin/logrotate -d /f
[root@huanqiu_web1 ~]# /usr/sbin/logrotate -d /etc/logrotate.d/nginx
查看各log⽂件的具体执⾏情况
[root@fangfull_web1 ~]# cat /var/lib/logrotate.status
2.  切割介绍
⽐如以系统⽇志/var/log/message做切割来简单说明下：
第⼀次执⾏完rotate(轮转)之后，原本的messages会变成messages.1，⽽且会制造⼀个空的messages给系统来储存⽇志；
第⼆次执⾏之后，messages.1会变成messages.2，⽽messages会变成messages.1，⼜造成⼀个空的messages来储存⽇志！
如果仅设定保留三个⽇志（即轮转3次）的话，那么执⾏第三次时，则 messages.3这个档案就会被删除，并由后⾯的较新的保存⽇志所取代！也就是会保存最新的⼏个⽇志。
⽇志究竟轮换⼏次，这个是根据配置⽂件中的rotate参数来判定的。
看下f配置：
# cat /f
# 底下的设定是 "logrotate 的默认值" ，如果別的⽂件设定了其他的值，
# 就会以其它⽂件的设定为主
weekly          //默认每⼀周执⾏⼀次rotate轮转⼯作
rotate 4      //保留多少个⽇志⽂件(轮转⼏次).默认保留四个.就是指定⽇志⽂件删除之前轮转的次数，0 指没有备份
dateext //这个参数很重要！就是切割后的⽇志⽂件以当前⽇期为格式结尾，如xxx.log-20131216这样，如果注释掉，切割出来是按数字递增，即前⾯说的 xxx.log-1这种格式
compress  //是否通过gzip压缩转储以后的⽇志⽂件，如 ；如果不需要压缩，注释掉就⾏
include /etc/logrotate.d
# 将 /etc/logrotate.d/ ⽬录中的所有⽂件都加载进来
/var/log/wtmp {                //仅针对 /var/log/wtmp 所设定的参数
monthly                    //每⽉⼀次切割，取代默认的⼀周
minsize 1M              //⽂件⼤⼩超过 1M 后才会切割
create 0664 root utmp            //指定新建的⽇志⽂件权限以及所属⽤户和组
rotate 1                    //只保留⼀个⽇志.
}
# 这个 wtmp 可记录⽤户登录系统及系统重启的时间
# 因为有 minsize 的参数，因此不见得每个⽉⼀定会执⾏⼀次喔.要看⽂件⼤⼩。
由这个⽂件的设定可以知道/etc/logrotate.d其实就是由/f 所规划出来的⽬录，虽然可以将所有的配置都写
⼊/f ，但是这样⼀来这个⽂件就实在是太复杂了，尤其是当使⽤很多的服务在系统上⾯时，每个服务都要去修
改/f的设定也似乎不太合理了。
所以，如果独⽴出来⼀个⽬录，那么每个要切割⽇志的服务，就可以独⾃成为⼀个⽂件，并且放置到 /etc/logrotate.d/ 当中
其他重要参数说明
compress                                  通过gzip 压缩转储以后的⽇志
nocompress                                不做gzip压缩处理
二十大的召开时间和结束时间copytruncate                              ⽤于还在打开中的⽇志⽂件，把当前⽇志备份并截断；是先拷贝再清空的⽅式，拷贝和清空之间有⼀个时间差，可能会丢失部分⽇志数据。
nocopytruncate                          备份⽇志⽂件不过不截断
create mode owner group            轮转时指定创建新⽂件的属性，如create 0777 nobody nobody
nocreate                                    不建⽴新的⽇志⽂件
delaycompress                          和compress ⼀起使⽤时，转储的⽇志⽂件到下⼀次转储时才压缩
nodelaycompress                        覆盖 delaycompress 选项，转储同时压缩。
missingok                                如果⽇志丢失，不报错继续滚动下⼀个⽇志
errors address                          专储时的错误信息发送到指定的Email 地址
ifempty                                    即使⽇志⽂件为空⽂件也做轮转，这个是logrotate的缺省选项。
notifempty                              当⽇志⽂件为空时，不进⾏轮转
mail address                            把转储的⽇志⽂件发送到指定的E-mail 地址
nomail                                    转储时不发送⽇志⽂件
olddir directory                        转储后的⽇志⽂件放⼊指定的⽬录，必须和当前⽇志⽂件在同⼀个⽂件系统
noolddir                                  转储后的⽇志⽂件和当前⽇志⽂件放在同⼀个⽬录下
sharedscripts                          运⾏postrotate脚本，作⽤是在所有⽇志都轮转后统⼀执⾏⼀次脚本。如果没有配置这个，那么每个⽇志轮转后都会执⾏⼀次脚本
prerotate                                在logrotate转储之前需要执⾏的指令，例如修改⽂件的属性等动作；必须独⽴成⾏
postrotate                              在logrotate转储之后需要执⾏的指令，例如重新启动 (kill -HUP) 某个服务！必须独⽴成⾏
daily                                      指定转储周期为每天
weekly                                    指定转储周期为每周
monthly                                  指定转储周期为每⽉
rotate count                            指定⽇志⽂件删除之前转储的次数，0 指没有备份，5 指保留5 个备份
dateext                                  使⽤当期⽇期作为命名格式
dateformat .%s                      配合dateext使⽤，紧跟在下⼀⾏出现，定义⽂件切割后的⽂件名，必须配合dateext使⽤，只⽀持 %Y %m %d %s 这四个参数
size(或minsize) log-size当⽇志⽂件到达指定的⼤⼩时才转储，log-size能指定bytes(缺省)及KB (sizek)或MB(sizem).
当⽇志⽂件 >= log-size 的时候就转储。以下为合法格式：（其他格式的单位⼤⼩写没有试过）
size = 5 或 size 5 （>= 5 个字节就转储）
size = 100k 或 size 100k
size = 100M 或 size 100M
⼩⽰例：下⾯⼀个切割nginx⽇志的配置
[root@master-server ~]# vim /etc/logrotate.d/nginx
/usr/local/nginx/logs/*.log {
daily
rotate 7
missingok
notifempty
dateext
sharedscripts
postrotate
if [ -f /usr/local/nginx/logs/nginx.pid ]; then
endscript
}
分享⼀例曾经使⽤过的nginx⽇志切割处理脚本
1）logrotate⽇志分割配置：
[root@bastion-IDC ~# vim /etc/logrotate.d/nginx
/data/nginx_logs/*.access_log
{
nocompress
daily
copytruncate
create
ifempty
olddir /data/nginx_logs/days
rotate 0
}
2）⽇志分割脚本
[root@bastion-IDC ~# vim /usr/local/sbin/logrotate-nginx.sh
#!/bin/bash
#创建转储⽇志压缩存放⽬录
mkdir -p /data/nginx_logs/days
#⼿⼯对nginx⽇志进⾏切割转换
/usr/sbin/logrotate -vf /etc/logrotate.d/nginx
#当前时间
time=$(date -d "yesterday" +"%Y-%m-%d")
#进⼊转储⽇志存放⽬录
cd /data/nginx_logs/days
#对⽬录中的转储⽇志⽂件的⽂件名进⾏统⼀转换
for i in $(ls ./ | grep "^\(.*\)\.[[:digit:]]$")突发公共卫生事件分几类
do
mv ${i} ./$(echo ${i}|sed -n 's/^\(.*\)\.\([[:digit:]]\)$/\1/p')-$(echo $time)
done
#对转储的⽇志⽂件进⾏压缩存放，并删除原有转储的⽇志⽂件，只保存压缩后的⽇志⽂件。以节约存储空间for i in $(ls ./ | grep "^\(.*\)\-\([[:digit:]-]\+\)$")
do
tar jcvf ${i}.bz2 ./${i}
rm -rf ./${i}
done
#只保留最近7天的压缩转储⽇志⽂件
find /data/nginx_logs/days/* -name "*.bz2" -mtime 7 -type f -exec rm -rf {} \;
3）crontab定时执⾏
[root@bastion-IDC ~# crontab -e
#logrotate
0 0 * * * /bin/bash -x /usr/local/sbin/logrotate-nginx.sh > /dev/null 2>&1
⼿动执⾏脚本，测试下看看：
[root@bastion-IDC ~# /bin/bash -x /usr/local/sbin/logrotate-nginx.sh
[root@bastion-IDC ~# cd /data/nginx_logs/days
[root@bastion-IDC days# ls
huantest.access_log-2017-01-18.bz2
PHP脚本切割⼀例
[root@huanqiu_web1 ~]# cat /etc/logrotate.d/php
/Data/logs/php/*log {
daily
rotate 365
missingok
notifempty
compress
dateext
sharedscripts
postrotate
if [ -f /Data/app/php5.6.26/var/run/php-fpm.pid ]; then
kill -USR1 `cat /Data/app/php5.6.26/var/run/php-fpm.pid`
fi
endscript
postrotate
/bin/chmod 644 /Data/logs/php/*gz
endscript
}
[root@huanqiu_web1 ~]# ll /Data/app/php5.6.26/var/run/php-fpm.pid
-rw-r--r-- 1 root root 4 Dec 28 17:03 /Data/app/php5.6.26/var/run/php-fpm.pid
[root@huanqiu_web1 php]# ll
total 25676
-rw-r--r-- 1 root  root        0 Jun  1  2016 error.log
-rw-r--r-- 1 nobody nobody    182 Aug 30  2015
-rw-r--r-- 1 nobody nobody    371 Sep  1  2015
-rw-r--r-- 1 nobody nobody    315 Sep  7  2015 .........
.........
nginx⽇志切割⼀例
[root@huanqiu_web1 ~]# cat /etc/logrotate.d/nginx
/Data/logs/nginx/*/*log {
daily
rotate 365
missingok
notifempty
compress
dateext
sharedscripts
postrotate
/etc/init.d/nginx reload
endscript
}
软包[root@huanqiu_web1 ~]# ll /Data/logs/nginx/www.huanqiu/ ..........
-
rw-r--r-- 1 root root      1652 Jan  1 00:00
-rw-r--r-- 1 root root      1289 Jan  2 00:00
-rw-r--r-- 1 root root      1633 Jan  3 00:00
-rw-r--r-- 1 root root      3239 Jan  4 00:00
系统⽇志切割⼀例
[root@huanqiu_web1 ~]# cat /etc/logrotate.d/syslog
/var/log/cron
/var/log/maillog
/var/log/messages
/var/log/secure
/var/log/spooler
{
sharedscripts
postrotate
/bin/kill -HUP `cat /var/run/syslogd.pid 2> /dev/null` 2> /dev/null || true    endscript
}
[root@huanqiu_web1 ~]# ll /var/log/messages*
-rw------- 1 root root 34248975 Jan 19 18:42 /var/log/messages
-rw------- 1 root root 51772994 Dec 25 03:11 /var/log/messages-20161225 -rw------- 1 root root 51800210 Jan  1 03:05 /var/log/messages-20170101 -rw------- 1 root root 51981366 Jan  8 03:36 /var/log/messages-20170108 -rw------- 1 root root 51843025 Jan 15 03:40 /var/log/messages-20170115 [root@huanqiu_web1 ~]# ll /var/log/cron*
-rw------- 1 root root 2155681 Jan 19 18:43 /var/log/cron
-
rw------- 1 root root 2932618 Dec 25 03:11 /var/log/cron-20161225
-rw------- 1 root root 2939305 Jan  1 03:06 /var/log/cron-20170101
-rw------- 1 root root 2951820 Jan  8 03:37 /var/log/cron-20170108
-rw------- 1 root root 3203992 Jan 15 03:41 /var/log/cron-20170115 [root@huanqiu_web1 ~]# ll /var/log/secure*
-rw------- 1 root root  275343 Jan 19 18:36 /var/log/secure
-rw------- 1 root root 2111936 Dec 25 03:06 /var/log/secure-20161225
-rw------- 1 root root 2772744 Jan  1 02:57 /var/log/secure-20170101
-rw------- 1 root root 1115543 Jan  8 03:26 /var/log/secure-20170108
-rw------- 1 root root  731599 Jan 15 03:40 /var/log/secure-20170115 [root@huanqiu_web1 ~]# ll /var/log/spooler*
-rw------- 1 root root 0 Jan 15 03:41 /var/log/spooler
-rw------- 1 root root 0 Dec 18 03:21 /var/log/spooler-20161225
-rw------- 1 root root 0 Dec 25 03:11 /var/log/spooler-20170101
-rw------- 1 root root 0 Jan  1 03:06 /var/log/spooler-20170108
-rw------- 1 root root 0 Jan  8 03:37 /var/log/spooler-20170115
Tomcat⽇志切割⼀例
体育教育实习总结[root@huanqiu-backup ~]# cat /etc/logrotate.d/tomcat
/Data/app/tomcat-7-huanqiu/logs/catalina.out {
rotate 14
daily
copytruncate
compress
notifempty
missingok
[root@huanqiu-backup ~]# ll /Data/app/tomcat-7-huanqiu/logs/catalina.*
-rw-r--r--. 1 root root    0 Jan 19 19:11 /Data/app/tomcat-7-huanqiu/logs/catalina.out
-rw-r--r--. 1 root root 95668 Jan 19 19:11 /Data/app/tomcat-7-huanqiu/logs/catalina.
早期⽤过的Nginx⽇志处理⼀例
[root@letv-backup ~]# vim /letv/sh/cut_nginx_log.sh
#!/bin/bash
# 你的⽇志⽂件存放⽬录
logs_path="/letv/logs/"
# ⽇志⽂件的名字，多个需要空格隔开
logs_names=(error access pv_access)
dates=`date -d "yesterday" +"%Y%m%d"`
mkdir -p ${logs_path}$dates/
num=${#logs_names[@]}
for((i=0;i<num;i++));do
mv ${logs_path}${logs_names[i]}.log ${logs_path}$dates/${logs_names[i]}.log
done
#nginx平滑重启
kill -USR1 `cat /letv/logs/nginx/nginx.pid`
结合crontab定时执⾏
[root@letv-backup ~]# crontab -e
#nginx⽇志切割
00 00 * * * cd /letv/logs;/bin/bash /letv/sh/cut_nginx_log.sh > /dev/null 2>$1
3.  尝试解决logrotate⽆法⾃动轮询⽇志的办法
现象说明：
使⽤logrotate轮询nginx⽇志，配置好之后，发现nginx⽇志连续两天没被切割，这是为什么呢？？
无线密码忘记了怎么办然后开始检查⽇志切割的配置⽂件是否有问题，检查后确定配置⽂件⼀切正常。
于是怀疑是logrotate预定的cron没执⾏，查看了cron的⽇志，发现有⼀条Dec 7 04:02:01 www crond[18959]: (root) CMD (run-parts /etc/cron.daily)这样的⽇志，证明cron在04:02分时已经执⾏/etc/cron.daily⽬录下的程序。
接着查看/etc /cron.daily/logrotate（这是logrotate⾃动轮转的脚本）的内容：
[root@huanqiu_test ~]# cat /etc/cron.daily/logrotate
#!/bin/sh
/usr/sbin/logrotate /f >/dev/null 2>&1
EXITVALUE=$?
if [ $EXITVALUE != 0 ]; then
/usr/bin/logger -t logrotate "ALERT exited abnormally with [$EXITVALUE]"
fi
exit 0
没有发现异常，配置好的⽇志轮转操作都是由这个脚本完成的，⼀切运⾏正常，脚本应该就没问题。
直接执⾏命令：
[root@huanqiu_test ~]# /usr/sbin/logrotate /f
这些系统⽇志是正常轮询了，但nginx⽇志却还是没轮询
接着强⾏启动记录⽂件维护操作，纵使logrotate指令认为没有需要，应该有可能是logroate认为nginx⽇志太⼩，不进⾏轮询。
故需要强制轮询，即在/etc/cron.daily/logrotate脚本中将 -t 参数替换成 -f 参数
[root@huanqiu_test ~]# cat /etc/cron.daily/logrotate
#!/bin/sh
/usr/sbin/logrotate /f >/dev/null 2>&1
EXITVALUE=$?
if [ $EXITVALUE != 0 ]; then
/usr/bin/logger -f logrotate "ALERT exited abnormally with [$EXITVALUE]"
fi
exit 0
最后最后重启下cron服务：
[root@huanqiu_test ~]# /etc/init.d/crond restart
Stopping crond: [ OK ]
Starting crond: [ OK ]
logrotate默认⾃动切割⽣效时间
Logrotate是基于CRON来运⾏的，其脚本是/etc/cron.daily/logrotate，实际运⾏时，Logrotate会调⽤配置⽂件/f。
[root@test ~]# cat /etc/cron.daily/logrotate
#!/bin/sh
/usr/sbin/logrotate /f
EXITVALUE=$?
if [ $EXITVALUE != 0 ]; then
/usr/bin/logger -t logrotate "ALERT exited abnormally with [$EXITVALUE]"

版权声明：本站内容均来自互联网，仅供演示用，请勿用于商业和其他非法用途。如果侵犯了您的权益请与我们联系QQ:729038198，我们将在24小时内删除。