“GPU 显存与推理负载”完成后,不能仅凭操作成功提示判断结果。本页给出验收依据和容易漏掉的异常。
通过标准
目标负载下没有显存不足,首字延迟和生成速度满足需求且输出质量可接受。
结果判读依据
模型参数、KV 缓存、批大小及运行时开销共同占用显存,模型文件大小不能直接代表显存需求。 显存估算必须包含并发会话产生的缓存。
避免误判
量化会改变质量与性能;多卡显存通常不会自动变成一块透明共享内存。
环境与操作范围
所有选型结论都应建立在相同业务数据与测试口径上。采购或调整前核对兼容性、容量余量和恢复成本,不把某个理论峰值当作业务性能保证。
