#本地推理

在一台普通机器上跑大模型，先想清楚这三件事

显存怎么算、量化怎么选、推理后端怎么挑。踩过几次之后，我把顺序反过来了：先定并发，再定模型。