素材牛VIP会员
日志收集探讨
 un***oo  分类:Python  人气:1747  回帖:13  发布于6年前 收藏

在项目上线后,往往需要监控一些日志,但是日志分散在各个服务器的不同角落,查看时需要找到某应用在那台服务器上,然后翻apache或nginx配置找日志路径,耗时耗力很麻烦。
所以想将这些日志收集到一个地方,做一套web界面的日志查看工具
需要的日志主要有

  • apache日志
  • apache虚拟主机access,error日志
  • nginx日志
  • nginx虚拟主机access,error日志
  • php错误日志
  • mysql日志
  • php应用日志(如yii的/runtime/application.log)

基本实现实时查看即可(一分钟内延迟)
看了下Scribe和Flume,似乎太过重量级,
我的想法是做个简单的文本变化检测,将新增内容发送到统一redis队列,后端脚本处理入库。
不知道大家是如何解决这个问题的?探讨下吧!

讨论这个帖子(13)垃圾回帖将一律封号处理……

Lv1 新人
编***魔 职业无 6年前#1

看一下logstash吧。 http://logstash.net/

Lv6 码匠
zh***ni 职业无 6年前#2

参考:在Linux上使用logwatch分析监控日志文件

Lv6 码匠
lo***ou 职业无 6年前#3

你的这个需求直接使用elasticsearch、logstash和kibana结合即可,部署配置都比较简单,实时性较高,又不用开发代码~

上一页12下一页
 文明上网,理性发言!   😉 阿里云幸运券,戳我领取