服务器故障实例分析

以下是一个服务器故障实例的完整分析及解决方案模板，适用于典型问题排查和修复：

故障实例：生产环境Web服务器突发502错误

1. 故障现象

• 用户访问网站出现502 Bad Gateway错误
• 监控系统显示Nginx负载均衡器与后端Tomcat服务连接超时
• 服务器CPU负载突然升至95%（正常值30%）
• 磁盘IO延迟超过500ms（正常<50ms）

2. 快速应急处理

# 1. 立即切换备用节点
ansible-playbook activate_backend.yml --tags=emergency

# 2. 隔离故障节点（防止影响集群）
iptables -A INPUT -p tcp --dport 8080 -j DROP

# 3. 临时扩容容器实例
kubectl scale deployment webapp --replicas=5

3. 根因分析流程

步骤一：资源检查

# CPU分析
top -H -p $(pgrep -d, java)
vmstat 1 10

# 磁盘检查
iostat -x 1
df -hT | grep -v overlay

# 发现：/var/log目录占用率100%（MySQL慢查询日志暴增）

步骤二：服务状态验证

# 检查Tomcat连接池
curl -s http://localhost:8080/status | grep jdbc

# 结果： 
# Active Connections: 200/200 (配置错误：原应为50/200)

步骤三：日志分析

# 关键错误日志：
grep -A 10 "Connection timed out" /var/log/nginx/error.log

# 显示：
# upstream timed out (110: Connection timed out) while reading upstream

4. 根因结论

• 直接原因：MySQL慢查询导致连接池耗尽
• 深层原因：
  1. 未配置SQL查询超时（默认无限等待）
  2. 连接池配置未考虑突发流量
  3. 日志轮转策略失效（logrotate未执行）

5. 解决方案

短期修复：

-- 紧急终止慢查询
KILL QUERY 18432;

-- 临时优化参数
SET GLOBAL max_connections=500;
SET GLOBAL wait_timeout=30;

长期改进： 1. 配置优化： xml <!-- Tomcat连接池配置 --> <Resource maxTotal="100" maxWaitMillis="5000" removeAbandonedTimeout="60" />

2. 监控增强：

   # Prometheus告警规则
   - alert: HighDBQueryTime
    expr: mysql_global_status_slow_queries > 5
    for: 5m
   

3. 自动化处理：

   # 自动日志清理脚本
   if disk_usage > 90%:
      execute(logrotate -f /etc/logrotate.d/mysql)
      alert("Emergency log cleanup triggered")
   

6. 验证与测试

1. 压力测试： bash ab -n 5000 -c 100 http://testenv/api/search
2. 监控验证项：
   • 95%请求响应时间 < 500ms
   • 连接池使用率 < 80%

7. 故障报告关键指标

8. 经验总结

• 根本预防措施：
  • 所有SQL必须配置statement_timeout
  • 实施混沌工程测试连接池故障场景
• 流程改进：
  • 建立容量规划检查清单（每周review）
  • 日志监控增加inode使用率检测

该模板可根据具体故障类型（网络/存储/应用层）调整分析维度，建议配合监控图表（如Grafana看板）增强可读性。对于分布式系统故障，需补充调用链分析（如Jaeger跟踪数据）。