如何用脚本自动化处理Node日志

要使用脚本自动化处理 Node.js 应用程序的日志，您可以采用多种方法。以下介绍几种常用的方法和步骤，帮助您实现日志的自动化收集、分析和管理。

1. 使用 pm2 进行进程管理和日志监控

pm2 是一个流行的 Node.js 进程管理工具，支持日志管理和监控。通过配置 pm2，您可以轻松地自动化日志的生成、轮转和监控。

安装 pm2

首先，确保您已经安装了 pm2：

npm install pm2 -g

启动应用并配置日志

启动您的 Node.js 应用，并使用 pm2 管理它：

pm2 start app.js --name my-app

配置日志轮转

pm2 默认会处理日志轮转，但您可以通过配置文件进一步自定义。创建一个 ecosystem.config.js 文件：

module.exports = {
  apps: [
    {
      name: 'my-app',
      script: 'app.js',
      instances: 'max',
      exec_mode: 'cluster',
      log_date_format: 'YYYY-MM-DD HH:mm Z',
      out_file: './logs/out.log',
      error_file: './logs/err.log',
      merge_logs: true,
      log_level: 'info',
      time: true,
    },
  ],
};

然后使用 pm2 start ecosystem.config.js 启动应用。

查看和管理日志

• 查看实时日志：

  pm2 logs my-app
  

• 查看日志文件：

  tail -f ./logs/out.log
  tail -f ./logs/err.log
  

• 日志轮转和清理：

  pm2 会根据配置自动进行日志轮转。您还可以手动清理日志：

  pm2 clear my-app
  

2. 使用 winston 和 pm2 结合进行高级日志管理

winston 是一个强大的日志库，可以灵活地配置多个传输方式和日志格式。结合 pm2，可以实现更复杂的日志管理需求。

安装 winston

在您的 Node.js 项目中安装 winston：

npm install winston

配置 winston

创建一个 logger.js 文件：

const { createLogger, format, transports } = require('winston');

const logger = createLogger({
  level: 'info',
  format: format.combine(
    format.timestamp({
      format: 'YYYY-MM-DD HH:mm:ss',
    }),
    format.printf(({ timestamp, level, message }) => `${timestamp} [${level.toUpperCase()}]: ${message}`)
  ),
  transports: [
    new transports.File({ filename: 'logs/error.log', level: 'error' }),
    new transports.File({ filename: 'logs/combined.log' }),
  ],
});

if (process.env.NODE_ENV !== 'production') {
  logger.add(new transports.Console({
    format: format.combine(
      format.colorize(),
      format.simple()
    ),
  }));
}

module.exports = logger;

在您的应用中使用 logger：

const logger = require('./logger');

logger.info('应用启动成功');
logger.error('发生错误');

使用 pm2 管理日志

按照前面的步骤使用 pm2 启动和管理应用，winston 会自动将日志写入指定的文件。

3. 自动化日志分析

您可以使用脚本定期分析日志文件，提取有用信息或生成报告。例如，使用 grep、awk 或其他文本处理工具，或者编写自定义的 Node.js 脚本。

示例：使用 Shell 脚本统计错误日志数量

创建一个 log_analysis.sh 文件：

#!/bin/bash

ERROR_COUNT=$(grep -i "error" logs/err.log | wc -l)
INFO_COUNT=$(grep -i "info" logs/combined.log | wc -l)

echo "错误日志数量: $ERROR_COUNT"
echo "信息日志数量: $INFO_COUNT"

赋予执行权限并运行：

chmod +x log_analysis.sh
./log_analysis.sh

示例：使用 Node.js 脚本生成日志报告

创建一个 generate_report.js 文件：

const fs = require('fs');
const path = require('path');

const errorLogPath = path.join(__dirname, 'logs', 'err.log');
const combinedLogPath = path.join(__dirname, 'logs', 'combined.log');

fs.readFile(errorLogPath, 'utf8', (err, data) => {
  if (err) throw err;
  const errorCount = data.split('\n').filter(line => line.includes('error')).length;
  console.log(`错误日志数量: ${errorCount}`);
});

fs.readFile(combinedLogPath, 'utf8', (err, data) => {
  if (err) throw err;
  const infoCount = data.split('\n').filter(line => line.includes('info')).length;
  console.log(`信息日志数量: ${infoCount}`);
});

运行脚本：

node generate_report.js

4. 使用集中式日志管理系统

对于大型应用或分布式系统，建议使用集中式日志管理系统，如 ELK（Elasticsearch, Logstash, Kibana）、Graylog 或 Fluentd。这些系统可以集中收集、存储和分析来自多个节点的日志。

示例：使用 fluentd 收集 Node.js 日志

1. 安装 fluentd

   在服务器上安装 fluentd：

   sudo apt-get update
   sudo apt-get install fluentd
   

2. 配置 fluentd

   编辑 /etc/td-agent/td-agent.conf，添加输入和输出插件。例如，将日志转发到 Elasticsearch：

   <source>
     @type tail
     path /path/to/your/node/logs/*.log
     pos_file /var/log/td-agent/nodejs.log.pos
     tag nodejs.*
     <parse>
       @type none
     parse>
   source>
   
   <match nodejs.**>
     @type elasticsearch
     host localhost
     port 9200
     logstash_format true
     flush_interval 10s
   match>
   

3. 重启 fluentd

   sudo systemctl restart td-agent
   

4. 在 Node.js 应用中使用 td-agent 标签

   修改 winston 配置，添加 tag：

   const logger = createLogger({
     level: 'info',
     format: format.combine(
       format.timestamp({
         format: 'YYYY-MM-DD HH:mm:ss',
       }),
       format.printf(({ timestamp, level, message }) => `${timestamp} [${level.toUpperCase()}]: ${message}`)
     ),
     transports: [
       new transports.File({ filename: 'logs/error.log', level: 'error' }),
       new transports.File({ filename: 'logs/combined.log' }),
     ],
     exceptionHandlers: [
       new transports.File({ filename: 'logs/exceptions.log' }),
     ],
     rejectionHandlers: [
       new transports.File({ filename: 'logs/rejections.log' }),
     ],
     exitOnError: false,
   });
   
   // 添加 tag
   logger.add(new transports.FluentTransport('app', { tag: 'nodejs.error' }));
   

5. 使用环境变量和配置文件管理日志设置

为了提高灵活性，您可以使用环境变量或配置文件来管理日志级别、输出路径等设置。

示例：使用环境变量配置 winston

修改 logger.js：

const { createLogger, format, transports } = require('winston');

const logLevel = process.env.LOG_LEVEL || 'info';
const logFile = process.env.LOG_FILE || 'combined.log';

const logger = createLogger({
  level: logLevel,
  format: format.combine(
    format.timestamp({
      format: 'YYYY-MM-DD HH:mm:ss',
    }),
    format.printf(({ timestamp, level, message }) => `${timestamp} [${level.toUpperCase()}]: ${message}`)
  ),
  transports: [
    new transports.File({ filename: logFile }),
  ],
});

if (process.env.NODE_ENV !== 'production') {
  logger.add(new transports.Console({
    format: format.combine(
      format.colorize(),
      format.simple()
    ),
  }));
}

module.exports = logger;

启动应用时设置环境变量：

LOG_LEVEL=debug LOG_FILE=./logs/debug.log node app.js

总结

自动化处理 Node.js 日志可以通过多种方式实现，包括使用进程管理工具（如 pm2）、日志库（如 winston）、脚本自动化分析以及集中式日志管理系统。根据您的应用规模和需求，选择合适的方法来管理和监控日志，以确保系统的稳定性和可维护性。

如果您有更具体的需求或遇到问题，欢迎进一步提问！

以上就是关于“如何用脚本自动化处理Node日志”的相关介绍，筋斗云是国内较早的云主机应用的服务商，拥有10余年行业经验，提供丰富的云服务器、租用服务器等相关产品服务。云服务器资源弹性伸缩，主机vCPU、内存性能强悍、超高I/O速度、故障秒级恢复；电子化备案，提交快速，专业团队7×24小时服务支持！

简单好用、高性价比云服务器租用链接：https://www.jindouyun.cn/product/cvm