从Node.js日志中提取关键数据的方法

要从Node.js日志中提取关键数据，可以采用以下几种方法：

1. 使用日志格式化工具

Winston + 自定义格式化

const winston = require('winston');

const logger = winston.createLogger({
  format: winston.format.combine(
    winston.format.timestamp(),
    winston.format.printf(info => {
      return `${info.timestamp} [${info.level}]: ${info.message} - ${JSON.stringify(info.metadata)}`;
    })
  ),
  transports: [new winston.transports.Console()]
});

// 使用示例
logger.info('User login', { userId: 123, ip: '192.168.1.1' });

Bunyan

const bunyan = require('bunyan');
const log = bunyan.createLogger({
  name: 'myapp',
  streams: [{ path: '/var/log/myapp.log' }]
});

// 结构化日志
log.info({ userId: 123, action: 'login' }, 'User logged in');

2. 使用日志分析工具

ELK Stack (Elasticsearch + Logstash + Kibana)

1. 将日志发送到Logstash
2. Logstash解析并存储到Elasticsearch
3. 使用Kibana进行可视化分析

Splunk

• 配置Splunk Forwarder收集Node.js日志
• 使用Splunk查询语言提取关键数据

3. 使用命令行工具处理日志

grep/awk/sed

# 提取包含"ERROR"的日志行
grep "ERROR" app.log

# 提取特定时间段的日志
sed -n '/2023-01-01 10:00/,/2023-01-01 11:00/p' app.log

# 提取JSON格式的特定字段
grep "userLogin" app.log | jq '.userId, .ipAddress'

jq (处理JSON日志)

# 提取所有错误日志的用户ID
cat app.log | jq 'select(.level == "error") | .userId'

4. 使用Node.js脚本处理日志

const fs = require('fs');
const readline = require('readline');

async function extractErrors(logFile) {
  const fileStream = fs.createReadStream(logFile);
  const rl = readline.createInterface({ input: fileStream });

  for await (const line of rl) {
    try {
      const logEntry = JSON.parse(line);
      if (logEntry.level === 'error') {
        console.log(`Error at ${logEntry.timestamp}: ${logEntry.message}`);
      }
    } catch (e) {
      // 非JSON格式日志处理
      if (line.includes('ERROR')) {
        console.log(`Raw error line: ${line}`);
      }
    }
  }
}

extractErrors('app.log');

5. 使用专门的日志服务

• Datadog: 提供日志收集、分析和告警功能
• Loggly: 基于云的日志管理服务
• Papertrail: 简单的日志聚合服务

最佳实践

1. 结构化日志: 使用JSON格式记录日志，便于解析
2. 包含上下文: 每条日志应包含时间戳、日志级别、请求ID等上下文信息
3. 敏感信息过滤: 确保日志中不包含密码、令牌等敏感信息
4. 日志轮转: 使用工具如logrotate管理日志文件大小
5. 性能考虑: 避免同步日志写入影响应用性能

通过以上方法，您可以有效地从Node.js日志中提取关键数据进行分析和监控。