背景：
- 我的项目都使用
filebeat来采集日志 - 大部分项目都是
Java项目，直接使用slf4j来打印日志，每行日志的开头都是时间戳 - 因此在
filebeat中直接配置一个匹配时间戳的正则，就完成了日志分行 - 要用
filebeat采集elastalert的日志，并且想复用原来的正则
所以需要格式化一下elastalert的日志格式，方便我采集。
查看一下代码，elastalert 的日志都用 util.py 中的这个logger来打印，如下：
elastalert.py 中打印日志的代码
这个
logger就是util.py中的
logging.basicConfig()
elastalert_logger = logging.getLogger('elastalert')
啥都没设置，就写了个名字elastalert
一张白纸啊，可以随意改！
先点进去看一下logging.basicConfig()的代码，发现功能有限，不能实现我们需要按天滚动日志的需求，所以我们使用Handler
logging.basicConfig()
首先要给他加上时间戳，为了方便找到日志，还可以打印是哪个文件多少行的日志，
所以我的日志格式定义为：
log_fmt = '%(asctime)s.%(msecs)03d %(threadName)s %(filename)s[line:%(lineno)d] %(levelname)s %(message)s'
解释一下：
-
asctime:时间戳，%s -
msecs:毫秒，%03d -
filename:打印日志的文件名称， %s -
line:打印日志的行号，%d -
levelname:日志等级，%s -
message:日志内容，%s
formater 支持的参数小计
-
levelno打印日志级别的数值，%s -
levelname:打印日志级别名称，%s -
pathname:打印当前执行程序的路径，其实就是sys.argv[0]，%s -
filename:打印当前执行程序文件名，%s -
funcName:打印日志的当前函数，%s -
lineno:打印日志的当前行号，%d -
asctime:打印日志的时间，%s -
thread:打印线程ID，%d -
threadName:打印线程名称，%s -
process:打印进程ID，%d -
message:打印日志信息，%s
因为logging中默认的时间戳是 %Y-%m-%d %H:%M:%S,%f，但是我就想要秒%S和毫秒%f中间的符号是点.，不是逗号,。但是 strftime() 并不支持格式化到毫秒，所以要把时间戳asctime格式化为%Y-%m-%d %H:%M:%S， 然后拼上点.和msecs这个属性。
接下来， 定义时间戳的格式，然后放入logging.Formatter()：
date_fmt = '%Y-%m-%d %H:%M:%S'
formatter = logging.Formatter(log_fmt, date_fmt)
写一个生成日志文件的handler
# 日志文件
log_file_handler = TimedRotatingFileHandler(
filename='${日志文件路径}/${日志文件名}.log',
when='M',
interval=2,
backupCount=3)
log_file_handler.suffix = '%Y-%m-%d'
log_file_handler.extMatch = re.compile(r"^\d{4}-\d{2}-\d{2}.\d{2}:\d{2}$")
log_file_handler.setLevel(logging.INFO)
log_file_handler.setFormatter(formatter)
elastalert_logger.addHandler(log_file_handler)
解释一下：
-
filename:就是生成日志文件的文件名 -
when:触发滚动的时间单位 -
interval:触发滚动的周期，如when='M'，interval=2，即每两分钟滚动一次 -
backupCount:最大滚动文件数 -
suffix:文件后缀，滚动文件会在文件名后添加的后缀 -
extMatch:文件后缀符合的正则，用于删除超过backupCount数目的日志文件
按照上述我的配置，即每2分钟滚动一个新的日志文件，最多存在三个滚动文件。
当前正在写入的文件名称为${日志文件路径}/${日志文件名}.log
滚动后的文件名称为${日志文件路径}/${日志文件名}.log.%Y-%m-%d
再写一个控制台打印日志的handler：
# 控制台日志
console_handler = logging.StreamHandler()
console_handler.setLevel(logging.INFO)
console_handler.setFormatter(formatter)
elastalert_logger.addHandler(console_handler)
这样，elastalert中日志的打印就调整好了。
2019-01-22 16:45:30.569 MainThread elastalert.py[line:1115] INFO Starting up
2019-01-22 16:45:30.573 MainThread elastalert.py[line:1245] INFO Sleeping for 29.999984 seconds
tags: [elastalert] [python 2.7]
网友评论