Laravel 队列系统优化指南

Laravel 的队列系统是处理异步任务的核心组件，合理优化可以显著提升应用性能。以下是一些关键的优化策略：

1. 选择合适的队列驱动

推荐驱动选择

• 生产环境首选: Redis 或 Amazon SQS
• 开发环境: 可使用 sync 或 database
• 高吞吐量场景: Beanstalkd 或 RabbitMQ

配置示例 (.env):

QUEUE_CONNECTION=redis

2. 队列工作进程优化

启动参数优化

php artisan queue:work --queue=high,default --timeout=60 --tries=3 --sleep=3 --memory=128

• --queue: 设置优先级队列
• --timeout: 适当设置超时时间
• --tries: 失败重试次数
• --sleep: 无任务时休眠时间
• --memory: 内存限制

使用 Supervisor 管理进程

Supervisor 配置示例 (/etc/supervisor/conf.d/laravel-worker.conf):

[program:laravel-worker]
process_name=%(program_name)s_%(process_num)02d
command=php /path/to/artisan queue:work --sleep=3 --tries=3
autostart=true
autorestart=true
user=forge
numprocs=8
redirect_stderr=true
stdout_logfile=/path/to/storage/logs/worker.log

3. 队列任务优化

任务设计优化

• 将大任务拆分为小任务
• 避免在任务中执行耗时操作
• 使用 ShouldQueue 接口

class ProcessPodcast implements ShouldQueue
{
    use Dispatchable, InteractsWithQueue, Queueable, SerializesModels;

    public $tries = 3;
    public $maxExceptions = 3;
    public $timeout = 120;
    public $backoff = [60, 120, 300];

    public function handle()
    {
        // 任务处理逻辑
    }
}

任务批处理

$batch = Bus::batch([
    new ProcessPodcast($podcast1),
    new ProcessPodcast($podcast2),
    new ProcessPodcast($podcast3),
])->then(function (Batch $batch) {
    // 所有任务成功完成
})->catch(function (Batch $batch, Throwable $e) {
    // 首个失败任务
})->finally(function (Batch $batch) {
    // 批处理完成
})->dispatch();

4. Redis 特定优化

连接配置优化 (config/database.php)

'redis' => [
    'queue' => [
        'url' => env('REDIS_URL'),
        'host' => env('REDIS_HOST', '127.0.0.1'),
        'password' => env('REDIS_PASSWORD'),
        'port' => env('REDIS_PORT', '6379'),
        'database' => env('REDIS_QUEUE_DB', '1'),
        'read_timeout' => 60,
    ],
],

Redis 管道优化

Redis::pipeline(function ($pipe) {
    for ($i = 0; $i < 1000; $i++) {
        $pipe->set("key:$i", $i);
    }
});

5. 监控与日志

Horizon 仪表板

composer require laravel/horizon
php artisan horizon:install

自定义监控

Queue::looping(function () {
    if (memory_get_usage() > 64 * 1024 * 1024) {
        exit(1); // 重启工作进程
    }
});

6. 性能调优技巧

1. 队列优先级: 为关键任务设置高优先级队列
2. 延迟队列: 合理使用 delay() 方法
3. 任务去重: 使用 unique() 方法避免重复任务
4. 失败处理: 配置失败队列和通知
5. 预热: 在部署后预热队列

// 优先级队列示例
ProcessPodcast::dispatch($podcast)->onQueue('high');

// 延迟任务
ProcessPodcast::dispatch($podcast)->delay(now()->addMinutes(10));

// 唯一任务
ProcessPodcast::dispatch($podcast)->uniqueId($podcast->id);

通过以上优化策略，可以显著提升 Laravel 队列系统的性能和可靠性。根据实际应用场景选择合适的组合方案，并持续监控队列性能指标进行调整。