多 GPU 并发推理管理

多 GPU 并发推理管理

概述

管理多 GPU 环境下的并发推理任务，通过环境变量隔离 GPU 资源，实现每张 GPU 独立运行推理进程。已在 8x MTT S4000 集群上验证。

使用场景

• 多路视频推理：16 路视频分配到 8 张 GPU
• 混合 GPU 集群：NVIDIA T4 + 摩尔线程 S4000 混合调度
• 弹性扩缩容：根据负载动态增减 GPU 进程
• GPU 资源池化：多租户共享 GPU 集群
• A/B 测试：同一模型在不同 GPU 上对比
• 故障转移：GPU 故障时自动迁移任务到健康 GPU

真实压测数据

8 卡 MTT S4000 并发测试结果

异常 GPU 记录

• GPU 0: 2路并发时 FPS 下降明显
• GPU 4: 2路并发时出现丢帧
• 建议: 排查散热、驱动版本、PCIe 带宽

操作指南

1. GPU 环境变量隔离

NVIDIA 使用 CUDA_VISIBLE_DEVICES=0,1 指定 GPU。摩尔线程使用 MUSA_VISIBLE_DEVICES=0,1。在启动推理进程前设置环境变量。

2. 多进程 GPU 分配

使用 subprocess.Popen 启动独立进程，每个进程通过 env 参数绑定特定 GPU。按 NUM_GPUS x ROUTES_PER_GPU 计算总路数。