Linux集群状态监控方案

监控Linux集群状态是确保系统高可用性和性能优化的关键任务。以下是全面的监控方案：

1. 基础监控工具

1.1 命令行工具

• top/htop - 实时查看系统资源使用情况
• vmstat - 监控系统进程、内存、I/O等
• iostat - 磁盘I/O监控
• netstat/ss - 网络连接监控
• dstat - 综合性能监控工具
• sar - 系统活动报告工具

1.2 日志监控

• journalctl - systemd日志查看
• tail -f /var/log/ - 实时查看关键日志文件
• logrotate - 日志轮转管理

2. 专业监控系统

2.1 开源解决方案

• Prometheus + Grafana

  • Prometheus收集指标数据
  • Grafana进行可视化展示
  • 配合Node Exporter采集主机指标

• Zabbix

  • 全面的企业级监控方案
  • 支持自动发现、告警、可视化

• Nagios/Icinga

  • 经典的监控告警系统
  • 丰富的插件生态系统

• Elastic Stack (ELK)

  • Elasticsearch存储日志
  • Logstash处理日志
  • Kibana可视化

2.2 商业解决方案

• Datadog
• New Relic
• SolarWinds
• Dynatrace

3. 集群特定监控

3.1 高可用集群

• Pacemaker/Corosync - 监控集群资源状态 bash crm_mon -1r pcs status

3.2 Kubernetes集群

• kubectl top nodes/pods
• kube-state-metrics
• cAdvisor
• Kubernetes Dashboard

3.3 Hadoop/大数据集群

• Ambari
• Cloudera Manager
• Ganglia

4. 关键监控指标

4.1 系统层面

• CPU使用率/负载
• 内存使用率（包括swap）
• 磁盘空间/I/O
• 网络带宽/连接数
• 系统温度（硬件监控）

4.2 服务层面

• 关键进程状态
• 服务响应时间
• 服务错误率
• 队列长度（如消息队列）

4.3 集群层面

• 节点在线状态
• 资源分配均衡性
• 故障转移能力
• 数据同步状态

5. 告警配置

• 设置合理的阈值
• 分级告警（警告/严重）
• 多种通知方式（邮件/SMS/即时通讯）
• 避免告警风暴（设置静默期）

6. 自动化响应

• 自动重启失败服务
• 自动扩容/缩容
• 自动故障转移
• 自动日志收集（故障时）

7. 最佳实践

1. 分层监控：从硬件到应用层全面监控
2. 基线建立：了解正常状态才能识别异常
3. 趋势分析：不仅关注当前状态，还要分析历史趋势
4. 容量规划：基于监控数据进行资源规划
5. 定期演练：测试监控系统的有效性

示例命令

检查集群节点状态：

pdsh -w node[1-10] uptime

批量检查磁盘空间：

clusterssh -l root node{1..10} "df -h /"

Prometheus节点导出器安装：

wget https://github.com/prometheus/node_exporter/releases/download/v1.3.1/node_exporter-1.3.1.linux-amd64.tar.gz
tar xvfz node_exporter-*.*-amd64.tar.gz
cd node_exporter-*.*-amd64
./node_exporter &

通过综合运用这些工具和方法，您可以全面掌握Linux集群的健康状态，及时发现并解决问题，确保集群稳定高效运行。