推理优化与部署

⚠️ 示例笔记（验收用），替换真实知识内容时直接删除本文件。

KV Cache

自回归解码的显存-速度权衡。

量化

权重量化与激活量化的常见档位。