本地大模型如何配置

7B的模型，4.5G的权重文件，24G的卡，看起来绰绰有余。第一次对话正常，问到一个长文档，进程直接退出。日志最后一行是CUDAoutofmemory。显存不是被权重吃掉的，是被上下文吃掉的。跑推理的时候，显存分三块。权重是一块，固定不变，量化到四比特之后，7B模型大约4G。KV缓存是一块，跟上下文长度成正比，这是最容易失控的一块。激活值是一块，跟批大小有关，一般不大。三块加起来超过卡的容量，进程