Perf Monitor

性能监控与瓶颈分析

概述

提供推理服务性能监控的完整方案，实时采集 FPS、延迟、显存、GPU 利用率等指标，自动分析瓶颈位置并给出优化建议。基于 T4 vs S4000 真实压测经验。

使用场景

• 生产环境监控：7x24 小时推理服务性能监控
• 压测数据采集：系统性能测试时自动化数据收集
• 瓶颈定位：推理慢时快速定位是哪个环节
• 容量规划：根据监控数据预测扩容需求
• SLA 保障：监控 FPS/延迟确保满足 SLA
• 故障预警：GPU 异常/显存泄漏早期发现

真实压测经验

瓶颈定位案例：S4000 后处理延迟

通过对推理流程分解计时发现：S4000 前向推理 1.2ms（与 T4 相当），但后处理（NMS）耗时 13.7ms，是 T4（0.9ms）的 15 倍。定位到 S4000 的 NMS 算子实现存在性能问题。

GPU 异常检测案例

8 卡并发测试中，通过监控各 GPU 的 FPS 发现 GPU 0 和 GPU 4 在 2 路并发时性能异常下降。进一步排查发现散热和驱动版本问题。

操作指南

1. PipelineMonitor 推理流程监控

使用 PipelineMonitor 类对推理各阶段计时：前处理、前向推理、后处理、推流编码。通过 time.perf_counter() 记录耗时，计算 FPS 和延迟分布。

2. GPU 状态监控

定期采集 GPU 状态：利用率、显存、温度、功耗。NVIDIA 用 nvidia-smi，摩尔线程用 mthreads-gmi。每 5 秒采集一次。

3. FPS 与延迟统计

维护滑动窗口（最近 100 帧）计算：平均 FPS、P50/P95/P99 延迟、丢帧率。低于阈值时触发告警。

4. 瓶颈分析报告