nano-vllm/progress.md

Progress: CUDA Graph for Offload Mode

Session: 2026-01-22

调研阶段 ✅ 完成

完成的调研:

1. ✅ 分析 model_runner.py 中的 CUDA Graph 实现

   • capture_cudagraph(): 为不同 batch size 捕获完整 model forward
   • run_model(): 通过 is_chunked_prefill 决定 eager/graph

2. ✅ 分析 offload decode 流程

   • run_chunked_offload_decode() 设置 is_chunked_prefill=True
   • 导致永远使用 eager mode

3. ✅ 分析 ring buffer pipeline

   • _decode_ring_buffer_pipeline() 包含 H2D 传输 + attention 计算
   • H2D 不能 graph，attention 可以 graph

4. ✅ 验证 graph 复用策略

   • 创建 test_chunk_attention_graph_reuse.py
   • 确认 2 个 graph 可复用于所有层

计划编写 ✅ 完成

• ✅ 创建 task_plan.md
• ✅ 创建 findings.md
• ✅ 创建 progress.md

下一步: 实现

Phase 1: 添加 graph 捕获到 OffloadEngine

• 在 offload_engine.py 添加 capture_attention_graphs()
• 添加 attention_graph_causal 和 attention_graph_non_causal 属性

Phase 2: 修改 ring buffer pipeline

• 在 _decode_ring_buffer_pipeline() 使用 graph replay
• 保持 H2D 和 merge 为 eager

Phase 3: 测试

• 运行 needle test 验证正确性
• 对比性能

---

文件清单

文件	状态	说明
tests/test_chunk_attention_graph.py	✅ 已提交	预分配 chunk pair graphs 测试
tests/test_chunk_attention_graph_reuse.py	待提交	Graph 复用验证
task_plan.md	✅ 创建	实现计划
findings.md	✅ 创建	调研发现
progress.md	✅ 创建	进度日志