GPU 显存与推理负载：常见异常与恢复处理

遇到“GPU 显存与推理负载”相关异常时，先对照现象缩小范围，再选择恢复动作。避免在证据不足时同时改变多项配置。

先识别异常

量化会改变质量与性能；多卡显存通常不会自动变成一块透明共享内存。

先以小批量验证模型加载，再逐步增加上下文和并发；以实测显存峰值制定限额。

恢复原批大小、并发或模型精度，保留可工作的驱动环境。

所有选型结论都应建立在相同业务数据与测试口径上。采购或调整前核对兼容性、容量余量和恢复成本，不把某个理论峰值当作业务性能保证。