使用Nginx Proxy Manager实现网站访问日志采集与分析方案

Nginx Proxy Manager (NPM) 是一个基于Nginx的图形化管理工具，虽然它本身不提供完整的日志分析功能，但我们可以通过配置和集成其他工具来实现访问日志的采集与分析。以下是详细方案：

一、基础日志配置

1. 启用NPM访问日志

   • 登录NPM管理界面
   • 进入"Settings" > "Advanced"
   • 确保日志记录已启用
   • 默认日志路径通常为：/data/logs/proxy-host-*_access.log

2. 自定义日志格式（可选） 在NPM的"Advanced"配置中添加自定义日志格式：

   log_format custom '$remote_addr - $remote_user [$time_local] '
                   '"$request" $status $body_bytes_sent '
                   '"$http_referer" "$http_user_agent" "$http_x_forwarded_for"';
   

二、日志采集方案

方案1：使用Filebeat + ELK Stack

1. 安装Filebeat

   # Debian/Ubuntu
   sudo apt-get install filebeat
   
   # CentOS/RHEL
   sudo yum install filebeat
   

2. 配置Filebeat

   filebeat.inputs:
   - type: log
    enabled: true
    paths:
      - /data/logs/proxy-host-*_access.log
    fields:
      log_type: nginx_access
    fields_under_root: true
   

3. 配置输出到ELK

   output.elasticsearch:
    hosts: ["your-elasticsearch-server:9200"]
    indices:
      - index: "nginx-access-%{+yyyy.MM.dd}"
   

方案2：使用Fluentd + Elasticsearch

1. 安装Fluentd

   curl -L https://toolbelt.treasuredata.com/sh/install-ubuntu-focal-td-agent4.sh | sh
   

2. 配置Fluentd

   <source>
    @type tail
    path /data/logs/proxy-host-*_access.log
    pos_file /var/log/td-agent/nginx-access.log.pos
    tag nginx.access
    format /^(?<remote>[^ ]*) (?<host>[^ ]*) (?<user>[^ ]*) \[(?<time>[^\]]*)\] "(?<method>\S+)(?: +(?<path>[^ ]*) +\S*)?" (?<code>[^ ]*) (?<size>[^ ]*)(?: "(?<referer>[^\"]*)" "(?<agent>[^\"]*)" "(?<forwarder>[^\"]*)")?$/
    time_format %d/%b/%Y:%H:%M:%S %z
   </source>
   
   <match nginx.access>
    @type elasticsearch
    host your-elasticsearch-server
    port 9200
    logstash_format true
    logstash_prefix nginx-access
   </match>
   

三、日志分析方案

使用Kibana分析

1. 创建索引模式

   • 在Kibana中创建nginx-access-*索引模式

2. 常用分析仪表板

   • 请求状态码分布
   • 流量趋势图
   • 热门访问URL
   • 客户端地理分布
   • 用户代理分析

3. 创建告警规则

   • 5xx错误率超过阈值
   • 异常流量突增
   • 可疑爬虫活动

使用Grafana + Prometheus

1. 配置Prometheus exporter

   • 使用nginx-log-exporter或类似工具将日志指标导出到Prometheus

2. Grafana仪表板

   • 导入Nginx监控仪表板（如ID 7362）

四、高级功能实现

1. 实时监控

   # 使用tail和grep进行实时监控
   tail -f /data/logs/proxy-host-*_access.log | grep -E "500|404"
   

2. 自动化报告

   • 使用Elasticsearch的Reporting功能
   • 或编写Python脚本定期生成报告

3. 安全分析

   • 集成WAF规则检测恶意请求
   • 使用Elasticsearch的Security App检测异常行为

五、性能优化建议

1. 日志轮转配置

   # 在/etc/logrotate.d/nginx-proxy-manager中添加
   /data/logs/*.log {
      daily
      missingok
      rotate 14
      compress
      delaycompress
      notifempty
      create 0640 www-data www-data
      sharedscripts
      postrotate
          [ ! -f /var/run/nginx.pid ] || kill -USR1 `cat /var/run/nginx.pid`
      endscript
   }
   

2. 日志采样（高流量场景）

   # 在NPM高级配置中添加
   map $request_uri $loggable {
      default 1;
      ~*\.(js|css|jpg|png|gif|ico|woff2) 0;
   }
   access_log /var/log/nginx/access.log combined if=$loggable;
   

六、替代方案

如果不想维护复杂的ELK Stack，可以考虑：

1. GoAccess

   goaccess /data/logs/proxy-host-*_access.log --log-format=COMBINED -o report.html
   

2. AWStats

   • 配置解析NPM日志格式

3. 商业SaaS服务

   • Loggly
   • Datadog
   • Sumo Logic

通过以上方案，您可以全面掌握Nginx Proxy Manager的访问日志，实现从基础监控到深度分析的全套功能。