Linux系统日志收集与分析指南

一、日志收集方法

1. 系统内置日志服务

• rsyslog (现代Linux默认日志服务)

  • 配置文件: /etc/rsyslog.conf
  • 子配置文件目录: /etc/rsyslog.d/
  • 常用命令:

  sudo systemctl restart rsyslog
  sudo tail -f /var/log/syslog
  

• journald (systemd系统的日志服务)

  • 查看日志:

  journalctl -xe
  journalctl -u nginx.service --since "2023-01-01" --until "2023-01-02"
  

2. 集中式日志收集方案

ELK Stack (Elasticsearch + Logstash + Kibana)

• 安装配置:

  # Elasticsearch
  wget https://artifacts.elastic.co/downloads/elasticsearch/elasticsearch-8.4.3-amd64.deb
  sudo dpkg -i elasticsearch-8.4.3-amd64.deb
  
  # Logstash
  wget https://artifacts.elastic.co/downloads/logstash/logstash-8.4.3.deb
  sudo dpkg -i logstash-8.4.3.deb
  
  # Kibana
  wget https://artifacts.elastic.co/downloads/kibana/kibana-8.4.3-amd64.deb
  sudo dpkg -i kibana-8.4.3-amd64.deb
  

Filebeat (轻量级日志收集器)

• 配置文件示例 (/etc/filebeat/filebeat.yml):

  filebeat.inputs:
  - type: log
  enabled: true
  paths:
    - /var/log/*.log
    - /var/log/nginx/*.log
  
  output.logstash:
  hosts: ["localhost:5044"]
  

其他可选工具

• Fluentd: 替代Logstash的轻量级方案
• Graylog: 一体化日志管理平台
• Prometheus + Grafana: 适合指标监控与可视化

二、日志分析方法

1. 基础命令行工具

• grep: 文本搜索

  grep "ERROR" /var/log/syslog
  

• awk: 文本处理

  awk '{print $1}' /var/log/nginx/access.log | sort | uniq -c | sort -nr
  

• sed: 流编辑器

  sed -n '/Jan 10 10:17/,/Jan 10 10:18/p' /var/log/syslog
  

• logrotate: 日志轮转

  sudo logrotate -f /etc/logrotate.conf
  

2. 高级分析工具

使用ELK Stack分析

1. Logstash 配置示例:

   input {
    beats {
        port => 5044
    }
   }
   
   filter {
    grok {
      match => { "message" => "%{COMBINEDAPACHELOG}" }
    }
    geoip {
      source => "clientip"
    }
   }
   
   output {
    elasticsearch {
      hosts => ["localhost:9200"]
      index => "apache-%{+YYYY.MM.dd}"
    }
   }
   

2. Kibana 可视化:

   • 创建索引模式
   • 构建仪表盘
   • 设置警报

使用Prometheus + Grafana

• 配置node_exporter收集系统指标
• 配置Grafana仪表盘展示日志分析结果

三、日志管理最佳实践

1. 日志轮转策略

   • 配置示例 (/etc/logrotate.d/nginx): /var/log/nginx/*.log { daily missingok rotate 14 compress delaycompress notifempty create 0640 www-data adm sharedscripts postrotate /usr/bin/systemctl reload nginx endscript }

2. 日志安全

   • 设置适当权限: chmod 640 /var/log/sensitive.log
   • 使用加密传输日志 (TLS/SSL)
   • 定期备份重要日志

3. 性能优化

   • 避免记录不必要的信息
   • 使用异步日志记录
   • 对高频日志进行采样

四、常见问题排查

1. 磁盘空间不足

   # 查找大日志文件
   sudo find /var/log -type f -size +100M -exec ls -lh {} \;
   
   # 清空日志文件(不删除文件)
   sudo truncate -s 0 /var/log/large.log
   

2. 日志服务不工作

   # 检查服务状态
   sudo systemctl status rsyslog
   
   # 检查配置文件语法
   sudo rsyslogd -N1
   

3. 日志分析性能问题

   • 考虑使用日志采样
   • 增加索引分片
   • 优化查询语句

通过以上方法和工具，您可以有效地收集、管理和分析Linux系统日志，从而提高系统监控能力和故障排查效率。