在Linux中使用sed进行日志分析和处理

sed(Stream Editor)是Linux中强大的文本处理工具，特别适合日志文件的快速分析和处理。下面介绍几种常见的日志处理场景和使用方法。

基本用法

1. 查看特定范围的行

# 查看第10-20行
sed -n '10,20p' logfile.log

# 查看从匹配"ERROR"的行开始到文件末尾
sed -n '/ERROR/,$p' logfile.log

2. 过滤包含特定关键词的行

# 显示包含"ERROR"的行
sed -n '/ERROR/p' logfile.log

# 显示不包含"DEBUG"的行
sed '/DEBUG/d' logfile.log

高级处理

3. 提取特定字段

# 假设日志格式为 "DATE LEVEL MESSAGE"，提取日期和消息
sed -n 's/^\([^ ]*\) [^ ]* \(.*\)$/\1 \2/p' logfile.log

# 提取JSON日志中的特定字段
sed -n 's/.*"user":"\([^"]*\)".*/\1/p' logfile.json

4. 时间范围过滤

# 提取2023-05-01 10:00到11:00之间的日志
sed -n '/2023-05-01 10:00:/,/2023-05-01 11:00:/p' logfile.log

5. 替换和修改日志内容

# 替换所有"ERROR"为"CRITICAL"
sed 's/ERROR/CRITICAL/g' logfile.log

# 在每行开头添加时间戳
sed 's/^/$(date "+%Y-%m-%d %H:%M:%S") /' logfile.log

组合使用技巧

6. 统计错误出现次数

sed -n '/ERROR/p' logfile.log | wc -l

7. 提取错误上下文

# 显示错误行及其前后2行
sed -n '/ERROR/{x;N;N;x;p;}' logfile.log

8. 多条件处理

# 删除空行和注释行
sed -e '/^$/d' -e '/^#/d' logfile.log

实际应用示例

9. 分析Apache访问日志

# 提取访问量最高的10个IP
sed -n 's/^\([0-9.]*\).*/\1/p' access.log | sort | uniq -c | sort -nr | head -10

# 统计HTTP状态码
sed -n 's/.*HTTP\/1.[01]" \([0-9]\{3\}\).*/\1/p' access.log | sort | uniq -c

10. 处理多行日志

# 将多行堆栈跟踪合并为单行（假设以日期开头的行是新日志条目）
sed ':a;N;$!ba;s/\n\t/ /g' multiline.log

性能提示

1. 处理大文件时，使用-n选项配合p命令可以显著提高性能
2. 复杂的正则表达式会降低处理速度，尽量简化模式
3. 对于超大型日志文件，考虑先使用grep过滤再用sed处理

sed的强大之处在于它可以与管道和其他命令组合使用，构建复杂的日志处理流程。