投机解码流程图
10.1 整体流程
10.2 详细时序
10.3 接受概率计算
10.4 变体对比
附录:图表速查表
| 图表编号 | 名称 | 用途 |
|---|---|---|
| 1 | AI Infra整体架构图 | 展示AI基础设施的层次结构 |
| 2 | LLM训练和推理流程图 | 说明训练和推理的完整流程 |
| 3 | Transformer架构图 | 展示Transformer的内部结构 |
| 4 | Mooncake架构图 | 介绍PD分离推理系统架构 |
| 5 | PD分离架构对比图 | 对比传统架构和PD分离架构 |
| 6 | KV Cache管理流程图 | 说明KV Cache的生命周期管理 |
| 7 | PagedAttention原理图 | 展示PagedAttention内存管理机制 |
| 8 | 分布式训练并行策略对比图 | 对比各种并行训练策略 |
| 9 | 推理调度时序图 | 展示Continuous Batching等调度机制 |
| 10 | 投机解码流程图 | 说明Speculative Decoding原理 |