Skip to content

投机解码流程图

10.1 整体流程

10.2 详细时序

10.3 接受概率计算

10.4 变体对比

附录:图表速查表

图表编号名称用途
1AI Infra整体架构图展示AI基础设施的层次结构
2LLM训练和推理流程图说明训练和推理的完整流程
3Transformer架构图展示Transformer的内部结构
4Mooncake架构图介绍PD分离推理系统架构
5PD分离架构对比图对比传统架构和PD分离架构
6KV Cache管理流程图说明KV Cache的生命周期管理
7PagedAttention原理图展示PagedAttention内存管理机制
8分布式训练并行策略对比图对比各种并行训练策略
9推理调度时序图展示Continuous Batching等调度机制
10投机解码流程图说明Speculative Decoding原理

用心记录,持续成长