Tag: vllm
All the articles with the tag "vllm".
一个完整的 vime + vLLM RL Training Step
colocate 模式下一次 GRPO 训练步的完整时序图、可调用接口表与参数表，以及按 55 个步骤代入数值、代码和源码位置的逐步讲解。
vLLM PD 分离：一次 MooncakeConnector 请求的完整时序
1P1D、RDMA 下一个请求从 Proxy 分发、P 侧 prefill、KV 推送到 D 侧 decode 的完整时序图、接口表与参数表，以及按 43 个步骤代入数值、代码和源码位置的讲解。
vLLM Quantization
How vLLM loads quantized checkpoints, quantizes BF16 models at load time, picks kernels, and which format to choose (FP8, INT8, INT4, MXFP4, KV cache).
How vLLM Sleep Mode Works
Free and restore vLLM's GPU memory without restarting the process — Level 0/1/2, how CuMemAllocator does it, usage, and the speedup.