vLLM PR #56214：代码差异与兼容性语义
> 这是技术笔记的公开整理版，原始记录日期为 2026-09-15，本次编辑于 2026-09-21。保留原笔记的公式、代码位置与证据分级；本次仅整理内容，未重新运行 GPU 实验或逐项复核上游。标为【码】【核验】的内容指原记录的核查结果，不代表当前版本仍然如此。 > 硬件边界：本文涉及 Hopper 与
继续阅读FROM THE COLLECTION
#vLLM
14 篇文章
vLLM PR #56214：模型接入的五处语义差异
> 这是技术笔记的公开整理版，原始记录日期为 2026-09-15，本次编辑于 2026-09-21。保留原笔记的公式、代码位置与证据分级；本次仅整理内容，未重新运行 GPU 实验或逐项复核上游。标为【码】【核验】的内容指原记录的核查结果，不代表当前版本仍然如此。 >
继续阅读分层 KV Offloading：以主机内存为中转层
> 本文为技术阅读导引，不是原文全文转载。页面日期对应来源存档标注的原文日期 2026-09-10；中文导引整理于 2026-09-21。来源内容按【文档声明】理解，本次未复现性能，也未重新核验所有版本状态。 要解决的问题 【文档声明】资料采用 host-centric
继续阅读混合稀疏卸载：根据显存压力选择驻留路径
> 本文为技术阅读导引，不是原文全文转载。页面日期对应来源存档标注的原文日期 2026-09-08；中文导引整理于 2026-09-21。来源内容按【文档声明】理解，本次未复现性能，也未重新核验所有版本状态。 要解决的问题 【文档声明】资料描述将 HiSparse 作为按压力启用的内存层，与混合模型分配器和已有 KV
继续阅读分布式逐层卸载：权重分片、预取与 AllGather
> 本文为技术阅读导引，不是原文全文转载。页面日期对应来源存档标注的原文日期 2026-08-17；中文导引整理于 2026-09-21。来源内容按【文档声明】理解，本次未复现性能，也未重新核验所有版本状态。 要解决的问题 【文档声明】这一方案卸载的是 DiT 模型权重，不能与请求的 KV
继续阅读DeepSeek V4 接入 vLLM：长上下文与紧凑 KV 布局
> 本文为技术阅读导引，不是原文全文转载。页面日期对应来源存档标注的原文日期 2026-04-24；中文导引整理于 2026-09-21。来源内容按【文档声明】理解，本次未复现性能，也未重新核验所有版本状态。 要解决的问题 【文档声明】该资料从长上下文 attention
继续阅读FP8 KV Cache：容量、精度与 attention 后端
> 本文为技术阅读导引，不是原文全文转载。页面日期对应来源存档标注的原文日期 2026-04-22；中文导引整理于 2026-09-21。来源内容按【文档声明】理解，本次未复现性能，也未重新核验所有版本状态。 要解决的问题 【文档声明】KV 量化改变存储量，也涉及 attention 计算路径、缩放与精度。混合
继续阅读MORI-IO：单机内的 Prefill/Decode 分离
> 本文为技术阅读导引，不是原文全文转载。页面日期对应来源存档标注的原文日期 2026-04-07；中文导引整理于 2026-09-21。来源内容按【文档声明】理解，本次未复现性能，也未重新核验所有版本状态。 要解决的问题 【文档声明】该资料研究单节点中把 prefill 与 decode 放到不同 GPU，通过
继续阅读GB300 上的 DeepSeek：量化与并行配置阅读笔记
> 本文为技术阅读导引，不是原文全文转载。页面日期对应来源存档标注的原文日期 2026-02-13；中文导引整理于 2026-09-21。来源内容按【文档声明】理解，本次未复现性能，也未重新核验所有版本状态。 要解决的问题 【文档声明】该资料围绕 GB300 上的 DeepSeek 部署，讨论 NVFP4、TP/EP
继续阅读KV Offloading Connector：异步卸载与重算的取舍
> 本文为技术阅读导引，不是原文全文转载。页面日期对应来源存档标注的原文日期 2026-01-08；中文导引整理于 2026-09-21。来源内容按【文档声明】理解，本次未复现性能，也未重新核验所有版本状态。 要解决的问题 【文档声明】将暂时不用的 KV 保存到 CPU 内存，在再次需要时取回，可在传输成本与重新
继续阅读