理解“GPU 显存与推理负载”时,先分清它能说明什么、不能说明什么。下面给出核心概念、判断边界与实际核验方向。
核心概念
模型参数、KV 缓存、批大小及运行时开销共同占用显存,模型文件大小不能直接代表显存需求。
容易混淆的地方
量化会改变质量与性能;多卡显存通常不会自动变成一块透明共享内存。
如何结合实际场景判断
显存估算必须包含并发会话产生的缓存。 目标负载下没有显存不足,首字延迟和生成速度满足需求且输出质量可接受。
环境与操作范围
所有选型结论都应建立在相同业务数据与测试口径上。采购或调整前核对兼容性、容量余量和恢复成本,不把某个理论峰值当作业务性能保证。
