Docker容器日志分析与异常排查指南

一、Docker日志基础

1. 查看容器日志基础命令

# 查看容器最新日志
docker logs <container_id>

# 查看实时日志流
docker logs -f <container_id>

# 显示时间戳
docker logs -t <container_id>

# 查看最后N行日志
docker logs --tail=100 <container_id>

# 查看特定时间段的日志
docker logs --since="2023-01-01" --until="2023-01-02" <container_id>

2. 日志驱动配置

Docker支持多种日志驱动，可以在运行容器时指定：

docker run --log-driver=json-file --log-opt max-size=10m --log-opt max-file=3 ...

常用驱动： - json-file (默认) - syslog - journald - gelf (Graylog Extended Log Format) - fluentd - awslogs (AWS CloudWatch)

二、高级日志分析工具

1. 使用ELK Stack (Elasticsearch, Logstash, Kibana)

# 使用Docker Compose部署ELK
version: '3'
services:
  elasticsearch:
    image: docker.elastic.co/elasticsearch/elasticsearch:7.14.0
    environment:
      - discovery.type=single-node
    ports:
      - "9200:9200"

  logstash:
    image: docker.elastic.co/logstash/logstash:7.14.0
    volumes:
      - ./logstash.conf:/usr/share/logstash/pipeline/logstash.conf
    ports:
      - "5000:5000"
    depends_on:
      - elasticsearch

  kibana:
    image: docker.elastic.co/kibana/kibana:7.14.0
    ports:
      - "5601:5601"
    depends_on:
      - elasticsearch

2. 使用Grafana Loki

# docker-compose.yml 示例
version: "3"

services:
  loki:
    image: grafana/loki:latest
    ports:
      - "3100:3100"

  promtail:
    image: grafana/promtail:latest
    volumes:
      - /var/lib/docker/containers:/var/lib/docker/containers:ro
      - /var/run/docker.sock:/var/run/docker.sock
    command: -config.file=/etc/promtail/config.yml

  grafana:
    image: grafana/grafana:latest
    ports:
      - "3000:3000"

三、异常排查技巧

1. 容器状态检查

# 查看容器状态
docker ps -a

# 查看容器详细信息
docker inspect <container_id>

# 查看容器资源使用情况
docker stats <container_id>

# 查看容器进程
docker top <container_id>

2. 进入容器排查

# 进入运行中的容器
docker exec -it <container_id> /bin/bash

# 如果容器没有bash/sh，可以使用nsenter
docker inspect --format '{{.State.Pid}}' <container_id> | xargs -I {} nsenter -t {} -m -u -i -n -p

3. 常见问题排查命令

# 检查容器退出原因
docker inspect -f '{{.State.ExitCode}}' <container_id>

# 检查容器健康状态
docker inspect -f '{{.State.Health.Status}}' <container_id>

# 检查容器网络连接
docker exec <container_id> ping google.com
docker exec <container_id> netstat -tulnp
docker exec <container_id> curl -I http://localhost:8080

四、日志分析与异常检测实践

1. 使用grep过滤日志

# 查找错误日志
docker logs <container_id> | grep -i error

# 查找特定时间段的错误
docker logs --since "2023-01-01T00:00:00" <container_id> | grep -i error

# 统计错误出现次数
docker logs <container_id> | grep -i error | wc -l

2. 使用jq分析JSON格式日志

# 假设使用json-file日志驱动
docker logs <container_id> | jq '. | select(.level == "error")'

3. 使用awk进行高级分析

# 统计不同HTTP状态码出现次数
docker logs <container_id> | awk '/HTTP/{print $9}' | sort | uniq -c | sort -nr

五、日志管理最佳实践

1. 日志轮转：配置日志大小和文件数量限制
2. 结构化日志：应用程序输出JSON格式日志
3. 敏感信息过滤：避免在日志中记录密码等敏感信息
4. 集中式日志：使用ELK、Loki等集中管理日志
5. 日志级别：合理使用DEBUG、INFO、WARN、ERROR等级别

六、自动化监控与告警

1. 使用Prometheus + Grafana

# docker-compose.yml 示例
version: '3'
services:
  prometheus:
    image: prom/prometheus
    ports:
      - "9090:9090"
    volumes:
      - ./prometheus.yml:/etc/prometheus/prometheus.yml

  grafana:
    image: grafana/grafana
    ports:
      - "3000:3000"

  node-exporter:
    image: prom/node-exporter
    ports:
      - "9100:9100"

2. 使用cAdvisor监控容器

docker run \
  --volume=/:/rootfs:ro \
  --volume=/var/run:/var/run:ro \
  --volume=/sys:/sys:ro \
  --volume=/var/lib/docker/:/var/lib/docker:ro \
  --volume=/dev/disk/:/dev/disk:ro \
  --publish=8080:8080 \
  --detach=true \
  --name=cadvisor \
  google/cadvisor:latest

通过以上方法和工具，您可以有效地分析和排查Docker容器中的日志和异常情况。