Linux管道命令：高效数据处理与转换指南

管道(Pipe)是Linux/Unix系统中一个强大的特性，它允许将一个命令的输出直接作为另一个命令的输入，实现数据的连续处理和转换。下面我将详细介绍管道命令的使用方法和常见应用场景。

管道基础语法

管道使用竖线符号 | 连接命令：

command1 | command2 | command3 ...

常见数据处理场景

1. 数据筛选与过滤

示例1：查找特定进程并统计数量

ps aux | grep nginx | wc -l

示例2：显示文件内容并过滤空行

cat file.txt | grep -v "^$"

2. 数据排序与去重

示例1：排序文件内容

cat data.txt | sort

示例2：去重并统计出现次数

cat access.log | awk '{print $1}' | sort | uniq -c | sort -nr

3. 数据转换与格式化

示例1：将文件内容转换为大写

cat file.txt | tr '[:lower:]' '[:upper:]'

示例2：提取特定列并格式化输出

ls -l | awk '{print $3, $9}' | column -t

4. 复杂数据处理

示例1：多步处理日志文件

cat server.log | grep "ERROR" | awk '{print $4, $5}' | sort | uniq -c

示例2：监控系统资源

top -b -n 1 | head -n 12 | tail -n 6

常用管道命令组合

高级技巧

1. 使用tee命令同时输出到文件和屏幕

command | tee output.txt | grep "pattern"

2. 使用xargs处理参数

find . -name "*.log" | xargs rm

3. 命名管道(mkfifo)

mkfifo mypipe
command1 > mypipe &
command2 < mypipe

性能优化建议

1. 尽量减少管道中的命令数量，每个额外命令都会增加开销
2. 对于大文件处理，考虑使用更高效的工具如awk替代多个grep和sed组合
3. 使用-表示标准输入，如tar -cf - dir/ | ssh host "tar -xf -"

掌握这些管道技巧可以显著提高Linux环境下的数据处理效率，让您能够快速完成各种复杂的数据转换和分析任务。