Linux系统硬件监控与故障处理指南

一、硬件监控工具

1. CPU监控

• top/htop：实时查看CPU使用情况

  top
  htop  # 需要安装，提供更友好的界面
  

• mpstat：多核CPU统计

  mpstat -P ALL 1  # 每秒显示所有CPU核心的使用情况
  

• lscpu：查看CPU架构信息

  lscpu
  

2. 内存监控

• free：查看内存使用情况

  free -h  # 人类可读格式
  free -m  # 以MB为单位
  

• vmstat：虚拟内存统计

  vmstat 1  # 每秒刷新一次
  

3. 磁盘监控

• df：磁盘空间使用情况

  df -h
  

• iostat：磁盘I/O统计

  iostat -x 1  # 显示扩展统计信息，每秒刷新
  

• iotop：类似top的I/O监控工具

  iotop
  

4. 网络监控

• iftop：实时网络带宽监控

  iftop
  

• nload：网络流量监控

  nload
  

• netstat/ss：网络连接统计

  netstat -tulnp
  ss -tulnp  # 更现代的替代工具
  

5. 温度监控

• lm-sensors：硬件传感器数据 bash sensors

6. 综合监控工具

• dstat：多功能资源统计工具

  dstat -cdngy 1
  

• glances：高级系统监控工具

  glances
  

二、硬件故障处理

1. CPU相关问题

• 症状：系统响应慢，top显示CPU使用率高
• 处理：
  1. 使用top找出占用CPU高的进程
  2. 使用strace -p PID跟踪进程系统调用
  3. 检查/var/log/messages或journalctl查找相关错误

2. 内存问题

• 症状：系统变慢，频繁使用swap
• 处理：
  1. 使用free -m检查内存使用
  2. 使用vmstat 1查看内存交换情况
  3. 使用ps aux --sort=-%mem查看内存占用高的进程
  4. 考虑优化应用或增加物理内存

3. 磁盘问题

• 症状：I/O等待高，系统响应慢
• 处理：
  1. 使用iostat -x 1检查磁盘I/O
  2. 使用smartctl检查磁盘健康状态 bash smartctl -a /dev/sda
  3. 检查dmesg输出查找磁盘错误
  4. 考虑使用RAID或更换故障磁盘

4. 网络问题

• 症状：网络连接慢或不稳定
• 处理：
  1. 使用ping测试基本连通性
  2. 使用traceroute检查路由
  3. 使用mtr结合ping和traceroute功能
  4. 检查网络接口状态ip link show
  5. 检查防火墙设置iptables -L -n

5. 硬件日志检查

• dmesg：内核环形缓冲区消息

  dmesg | grep -i error
  

• 系统日志：

  cat /var/log/messages
  journalctl -xe  # 对于systemd系统
  

三、自动化监控方案

1. 使用Prometheus + Grafana

• Prometheus收集指标
• Grafana可视化展示

2. 使用Zabbix

• 全面的企业级监控解决方案
• 支持告警和自动化操作

3. 使用Nagios

• 成熟的监控系统
• 强大的告警功能

四、最佳实践

1. 定期检查：设置cron任务定期运行健康检查脚本
2. 基准测试：记录系统正常运行时的基准指标
3. 预警设置：配置适当的告警阈值
4. 文档记录：记录硬件配置和维护历史
5. 备份策略：确保关键数据有备份

通过以上工具和方法，您可以全面监控Linux系统的硬件状态，并在出现问题时快速定位和解决故障。