使用sed命令编辑日志文件

sed(Stream EDitor)是一个强大的流编辑器，非常适合用于日志文件的编辑和处理。下面介绍几种常见的sed操作日志文件的方法。

基本语法

sed [选项] '命令' 文件名

常用操作

1. 替换文本

# 将文件中所有的"error"替换为"ERROR"
sed 's/error/ERROR/g' logfile.log

# 替换并直接修改原文件(加-i选项)
sed -i 's/error/ERROR/g' logfile.log

# 只替换每行第一次出现的匹配
sed 's/error/ERROR/' logfile.log

# 替换第N次出现的匹配
sed 's/error/ERROR/2' logfile.log  # 替换每行第二次出现的error

2. 删除行

# 删除包含"debug"的行
sed '/debug/d' logfile.log

# 删除空行
sed '/^$/d' logfile.log

# 删除1-10行
sed '1,10d' logfile.log

# 删除最后一行
sed '$d' logfile.log

3. 添加/插入行

# 在包含"error"的行后添加一行"---ERROR DETECTED---"
sed '/error/a ---ERROR DETECTED---' logfile.log

# 在文件开头插入一行
sed '1i ---LOG START---' logfile.log

4. 打印特定行

# 打印5-10行
sed -n '5,10p' logfile.log

# 打印包含"error"的行
sed -n '/error/p' logfile.log

# 打印从匹配"start"到匹配"end"之间的行
sed -n '/start/,/end/p' logfile.log

5. 高级用法

# 对匹配"error"的行执行替换
sed '/error/ s/foo/bar/' logfile.log

# 使用正则表达式分组和引用
sed 's/\([0-9]\{4\}\)-\([0-9]\{2\}\)-\([0-9]\{2\}\)/\3.\2.\1/' logfile.log

# 使用多个命令(-e选项)
sed -e 's/foo/bar/' -e 's/baz/qux/' logfile.log

# 从文件读取sed脚本
sed -f script.sed logfile.log

实际应用示例

1. 提取特定时间段的日志:

sed -n '/2023-05-01 10:00/,/2023-05-01 11:00/p' server.log

2. 匿名化日志中的IP地址:

sed -i 's/\([0-9]\{1,3\}\.\)\{3\}[0-9]\{1,3\}/[REDACTED]/g' access.log

3. 格式化日志时间戳:

sed 's/\(May\) \([0-9]\{2\}\) \([0-9]\{2\}:[0-9]\{2\}:[0-9]\{2\}\)/2023-\1-\2 \3/' app.log

4. 提取错误日志并添加时间戳:

sed -n '/ERROR/{=;p}' app.log | sed 'N;s/\n/ /' | awk '{print strftime("%Y-%m-%d %H:%M:%S"), $0}'

注意事项

1. 使用-i选项会直接修改原文件，建议先不加-i测试命令效果
2. 对于大文件，sed比大多数编辑器更高效
3. 复杂的文本处理可能需要结合awk等其他工具
4. MacOS上的sed与GNU sed有些语法差异，可能需要安装gnu-sed

通过组合这些命令，你可以高效地处理和分析各种日志文件。