Shell脚本实现：日志关键字监控+自动告警

75 阅读 0 评论 50 点赞

我是靠谱客的博主失眠乌龟，最近开发中收集的这篇文章主要介绍Shell脚本实现：日志关键字监控+自动告警，觉得挺不错的，现在分享给大家，希望可以做个参考。

概述

Shell是一个用C语言编写的程序，它是用户使用Linux的桥梁。Shell既是一种命令语言，又是一种程序设计语言。在Linux系统中我们经常使用到Shell脚本进行功能实现，本章使用Shell脚本对日志关键字进行监控并且在监控异常时进行邮件的自动告警。

一、安装邮件服务器

下载地址：http://www.linuxfromscratch.org/blfs/view/7.6/basicnet/mailx.html

1.解压

tar -jxf mailx-12.4.tar.bz2 -C /usr/src/ && cd /usr/src/mailx-12.4/

2.编译

make install UCBINSTALL=/usr/bin/install

此时若报“make:***[openssl.o] 错误 1”则进行以下异常报错解决方法：

下载mailx补丁文件“mailx-12.4-openssl_1.0.0_build_fix-1.patch”，将补丁文件和mailx解压缩目录放置同一路径。

执行打补丁命令：

patch -p0 < mailx-12.4-openssl_1.0.0_build_fix-1.patch

进入mailx-12.4重新执行编译命令：

make install UCBINSTALL=/usr/bin/install

检测mailx是否安装成功：mailx -V

3.配置

vi /etc/nail.rc，在文件的最后添加

set from="发件人邮箱"
set smtp="smtp服务器,例如qq为smtp.qq.com,163为stmp.163.com"
set smtp-auth-user="stmp服务器用户"
set smtp-auth-password="smtp服务器密码"
set smtp-auth=login

如下图所示，修改配置完后保存

4.测试发送邮件

echo '邮件正文'|mailx -v -s "邮件标题" 邮箱地址

至此邮件功能测试正常，接下来是关键字监控脚本的编写工作，通过日志关键字脚本触发邮件告警脚本实现日志监控。

二、关键字监控脚本开发

包含以下文件：

CheckLogs.sh 日志监控程序。

SendMail.sh 发邮件脚本，该脚本可自定义。

conf 配置文件目录，chklist为配置文件（根据实际情况进行维护）。

最后附上脚本相关代码如下：

#!/bin/bash
basedir=$(cd `dirname "$0"`;pwd)
logsdir=$basedir/logs
tmpsdir=$basedir/tmps
confdir=$basedir/conf
chkfile=$confdir/chklist
logfile=$logsdir/log.log_$(date +%F)

#创建各种目录
mkdir -p $logsdir $tmpsdir $confdir

#创建配置文件
if test ! -e "$chkfile";then
    echo "#日志文件,关键字(多关键字|隔开),重试次数,最大执行次数,启动命令,停止命令" >$chkfile
fi

#生成日志函数
do_writelog() {
    case $1 in
    i|I)
        shift
        echo "$(date +%Y-%m-%d) $(date +%H:%M:%S)|INFO|$@" >>$logfile
        ;;
    e|E)
        shift
        echo "$(date +%Y-%m-%d) $(date +%H:%M:%S)|ERROR|$@" >>$logfile
        ;;
    w|W)
        shift
        echo "$(date +%Y-%m-%d) $(date +%H:%M:%S)|WARNING|$@" >>$logfile
        ;;
    *)
        echo "$(date +%Y-%m-%d) $(date +%H:%M:%S)|DEBUG|$@" >>$logfile
        esac
}

#日志处理部分代码
cat $chkfile|egrep -v "^($|#)"|while read i;do
(
    app_name=$(echo "$i"|awk -F, '{print $1}')
    if test -z "$app_name";then
        do_writelog e "应用名称为空,退出执行"
        exit 0
    fi
    log_filename=$(echo "$i"|awk -F, '{print $2}')
    if test ! -e "$log_filename";then
        do_writelog e "日志文件($log_filename)不存在,退出执行"
        exit 0
    fi
    log_md5sum=$(echo -n "$log_filename"|md5sum|awk '{print $1}')
    log_gjz=$(echo "$i"|awk -F, '{print $3}')
    if test -z "$log_gjz";then
        do_writelog i "日志文件($log_filename),关键字为空,退出执行"
        exit 0
    fi
    log_retry=$(echo "$i"|awk -F, '{print $4}')
    expr $log_retry + 0 &>/dev/null
    if [ $? -ne 0 ];then
        log_retry=0
    fi
    log_max=$(echo "$i"|awk -F, '{print $5}')
    expr $log_max + 0 &>/dev/null
    if [ $? -ne 0 ];then
        log_max=3
    fi
    start_command=$(echo "$i"|awk -F, '{print $6}')
    stops_command=$(echo "$i"|awk -F, '{print $7}')
    open_sendmail=$(echo "$i"|awk -F, '{print $8}')
    mail_scripts=$(echo "$i"|awk -F, '{print $9}')
    mail_contacts=$(echo "$i"|awk -F, '{print $10}')
    if [ $open_sendmail -eq 1 ];then
        if test -z "$mail_scripts";then
            do_writelog i "应用($app_name),触发动作脚本为空,退出执行"
            exit 0
        fi
        if test -z "$mail_contacts";then
            do_writelog i "应用($app_name),联系人为空,退出执行"
            exit 0
        fi
    fi
    if test ! -e "$tmpsdir/$log_md5sum";then
        log_new_count=$(wc -l $log_filename|awk '{print $1}')
        echo "$log_new_count" >$tmpsdir/$log_md5sum
        do_writelog i "日志文件($log_filename),初始化读取日志行数:$log_new_count,退出执行"
    else
        log_old_count=$(cat $tmpsdir/$log_md5sum)
        expr $log_old_count + 0 &>/dev/null
        if [ $? -ne 0 ];then
            do_writelog e "日志文件($log_filename),读取历史行数失败,退出执行"
            exit 0
        fi
        log_new_count=$(wc -l $log_filename|awk '{print $1}')
        if [ $log_new_count -eq $log_old_count ];then
            do_writelog i "日志文件($log_filename),未更新,退出执行"
            exit 0
        elif [ $log_new_count -lt $log_old_count ];then
            do_writelog i "日志文件($log_filename),跨日更新日志行数:$log_new_count,退出执行"
            echo "$log_new_count" >$tmpsdir/$log_md5sum
        else
           log_upd_count=$(expr $log_new_count - $log_old_count)
           do_writelog i "日志文件($log_filename),历史行数:$log_old_count,最新行数:$log_new_count,更新行数:$log_upd_count" 
           #读取更新的日志
           log_content=$(tail -n +`expr $log_old_count + 1` $log_filename|head -n +$log_upd_count)
           oldIFS=$IFS
           IFS="|"
           count=0
           for i in $log_gjz;do
               if [ $(echo "$log_content"|grep -c -w "$i") -ge 1 ];then
                   let count+=1  
               fi
               if [ $count -gt 0 ];then
                   break
               fi
           done
           IFS=$oldIFS
           if [ $count -gt 0 ];then
               echo "0" >>$tmpsdir/${log_md5sum}.retry
           else
              do_writelog i "日志文件($log_filename),未获取到关键字,退出执行"
              echo "$log_new_count" >$tmpsdir/$log_md5sum
              exit 0
           fi
           if [[ $(wc -l $tmpsdir/${log_md5sum}.retry|awk '{print $1}') -gt $log_retry ]];then
               echo "0" >>$tmpsdir/${log_md5sum}_$(date +%F)
               if [ $(wc -l $tmpsdir/${log_md5sum}_$(date +%F)|awk '{print $1}') -le $log_max ];then
                   $stops_command 1>>$logfile 2>&1
                   $start_command 1>>$logfile 2>&1
                   do_writelog i "日志文件($log_filename),日志内容:$log_content,找到关键字:$i,停止命令:$stops_command,启动命令:$start_command,重启服务"
                   if [ $open_sendmail -eq 1 ];then
                       if test -n "$mail_scripts";then
                           $mail_scripts "应用[$app_name]故障" "日志文件($log_filename),日志内容:$log_content,找到关键字:$i" "$mail_contacts" 1>>$logfile 2>&1
                           if [ $? -ne 0 ];then
                               do_writelog i "日志文件($log_filename),日志内容:$log_content,找到关键字:$i,触发告警失败"
                           fi
                           do_writelog i "日志文件($log_filename),日志内容:$log_content,找到关键字:$i,触发告警通知联系人:[$mail_contacts]"
                       fi
                   else
                       do_writelog i "日志文件($log_filename),日志内容:$log_content,找到关键字:$i,不触发告警"
                   fi
               else
                   do_writelog i "日志文件($log_filename),日志内容:$log_content,找到关键字:$i,重启服务超出当天限制次数:$log_max,退出执行"
               fi
               rm -f $tmpsdir/${log_md5sum}.retry &>/dev/null
           else
               do_writelog i "日志文件($log_filename),日志内容:$log_content,找到关键字:$i,重试检测:$(wc -l $tmpsdir/${log_md5sum}.retry|awk '{print $1}')"
           fi
           echo "$log_new_count" >$tmpsdir/$log_md5sum
           do_writelog i "日志文件($log_filename),更新记次文件完成" 
        fi
    fi
)&
done