AWS Machine Learning Blog· Sunita Nadampalli·2026-10-20 00:03· 12 天前精选

vLLM 引入双向 KV 传输以提升多轮代理工作负载 TTFT

Improve TTFT for multi-turn agentic workloads with bi-directional KV transfer in vLLM

原始来源：AWS Machine Learning Blog阅读原始报道

AI 导读

vLLM 在 P-D 分布式部署中引入双向 KV 传输机制，通过 decode 节点保留跨轮 KV 缓存并传回 prefill 节点复用，避免了重复计算。基准测试显示，在 Qwen3-32B 上最长提示词下 TTFT 可降低 1.6 倍，在 GLM-5-FP8 上可降低 3.3 倍。

推荐理由

原文展示了 vLLM 中双向 KV 传输机制，通过保留和重用跨轮的 KV 缓存，显著降低了多轮对话场景下的 TTFT，提供了具体的性能提升数据和实现指南。

来源：AWS Machine Learning Blog · aws.amazon.com