日志收集探讨_Python_论坛

日志收集探讨

un***oo 分类：Python 人气：1745 回帖：13 发布于6年前收藏

在项目上线后，往往需要监控一些日志，但是日志分散在各个服务器的不同角落，查看时需要找到某应用在那台服务器上，然后翻apache或nginx配置找日志路径，耗时耗力很麻烦。
所以想将这些日志收集到一个地方，做一套web界面的日志查看工具
需要的日志主要有

apache日志
apache虚拟主机access,error日志
nginx日志
nginx虚拟主机access,error日志
php错误日志
mysql日志
php应用日志(如yii的/runtime/application.log)

基本实现实时查看即可（一分钟内延迟）
看了下Scribe和Flume，似乎太过重量级，
我的想法是做个简单的文本变化检测，将新增内容发送到统一redis队列，后端脚本处理入库。
不知道大家是如何解决这个问题的？探讨下吧！

标签：golang redis python php

讨论这个帖子（13）垃圾回帖将一律封号处理……

Lv3 码奴

gu***di 软件测试工程师 6年前#1

fluentd + MongoDB

Lv4 码徒

大***咒 JAVA开发工程师 6年前#2

可以试试阿里云的日志服务，即开即用，无需运维。
1）提供客户端快速采集日志（https://yq.aliyun.com/articles/3228?spm=5176.team4.teamshow1.37.faH93Z）
2）日志收集到服务端后提供多种消费方式：数据通道（类Kafka）/数据投递（ODPS/OSS）/实时搜索
具体可以参考：https://help.aliyun.com/document_detail/sls/user-guide/overview.html