Linux日志分析与性能优化指南

一、日志分析基础

1. 主要日志文件位置

• /var/log/messages - 常规系统消息
• /var/log/syslog - 系统日志
• /var/log/auth.log - 认证相关日志
• /var/log/kern.log - 内核日志
• /var/log/dmesg - 启动时内核环缓冲区消息
• /var/log/nginx/ - Nginx日志(如果安装)
• /var/log/mysql/ - MySQL日志(如果安装)

2. 常用日志分析工具

基础命令

# 查看日志尾部
tail -f /var/log/syslog

# 查看特定时间段的日志
sed -n '/May 20 10:00:00/,/May 20 11:00:00/p' /var/log/syslog

# 统计错误出现次数
grep -i "error" /var/log/syslog | wc -l

# 按时间排序显示日志
ls -ltr /var/log/

journalctl (systemd系统)

# 查看全部日志
journalctl

# 查看特定服务的日志
journalctl -u nginx.service

# 查看最近100行并实时更新
journalctl -f -n 100

# 按优先级过滤
journalctl -p err

高级工具

• Logwatch - 每日日志摘要
• GoAccess - Web访问日志分析
• ELK Stack (Elasticsearch, Logstash, Kibana) - 企业级日志管理
• Graylog - 开源日志管理平台
• Splunk - 商业日志分析工具

二、性能监控与分析

1. 基础性能指标

CPU

# 实时CPU使用率
top
htop

# 每个CPU核心的使用情况
mpstat -P ALL 1

# CPU负载
uptime
cat /proc/loadavg

内存

free -h
vmstat 1

# 详细内存使用
cat /proc/meminfo

磁盘I/O

iostat -x 1
iotop

网络

iftop
nload
netstat -tulnp
ss -tulnp

2. 高级性能工具

perf (性能计数器)

# 安装
apt install linux-tools-common linux-tools-generic

# 系统范围统计
perf stat -a sleep 5

# CPU火焰图生成
perf record -F 99 -a -g -- sleep 30
perf script | ./stackcollapse-perf.pl | ./flamegraph.pl > perf.svg

strace (系统调用跟踪)

# 跟踪进程的系统调用
strace -p <PID>

# 统计系统调用
strace -c -p <PID>

eBPF工具集

• bpftrace - 高级跟踪工具
• bcc工具集 (opensnoop, execsnoop, tcplife等)

三、性能优化策略

1. CPU优化

• 使用taskset或cgroups绑定关键进程到特定CPU核心
• 调整进程优先级(nice值)
• 识别并优化热点函数(使用perf)

2. 内存优化

• 调整swappiness值(减少交换分区使用)

echo 10 > /proc/sys/vm/swappiness

• 使用hugepages优化大内存应用
• 监控并优化OOM killer行为

3. 磁盘I/O优化

• 使用合适的I/O调度器

# 查看当前调度器
cat /sys/block/sda/queue/scheduler

# 修改为deadline(对于SSD)
echo deadline > /sys/block/sda/queue/scheduler

• 文件系统优化(ext4/xfs/btrfs参数调整)
• 使用LVM缓存或bcache加速慢速磁盘

4. 网络优化

• 调整TCP参数

# 增大TCP窗口大小
echo "net.ipv4.tcp_window_scaling = 1" >> /etc/sysctl.conf
echo "net.core.rmem_max = 16777216" >> /etc/sysctl.conf
echo "net.core.wmem_max = 16777216" >> /etc/sysctl.conf
sysctl -p

• 使用多队列网卡(RSS)和中断平衡
• 优化连接跟踪表大小

四、自动化监控与告警

1. 使用Prometheus + Grafana

• 部署Node Exporter收集主机指标
• 配置Alertmanager实现告警

2. 使用Zabbix

• 全面的监控解决方案
• 内置告警和可视化功能

3. 自定义脚本监控

#!/bin/bash
# 监控CPU温度并告警
TEMP=$(cat /sys/class/thermal/thermal_zone0/temp)
if [ $TEMP -gt 70000 ]; then
  echo "Warning: CPU temperature is high: $(($TEMP/1000))°C" | mail -s "CPU Temp Alert" admin@example.com
fi

五、最佳实践

1. 建立基线 - 在系统正常时记录性能指标作为基准
2. 逐步优化 - 一次只做一个变更并测量效果
3. 文档记录 - 记录所有优化措施及其影响
4. 定期审查 - 性能优化是持续过程
5. 关注业务指标 - 最终目标是改善用户体验和业务指标

通过系统化的日志分析和性能监控，可以显著提高Linux系统的稳定性和效率。