Skip to content

CS 知识库

Main Navigation 首页数学算法机器学习 Java C++Rust 存储系统设计工具计算机系统信息安全关于

简体中文

English

简体中文

English

主题

Sidebar Navigation

AI Infra 入门到前沿

概览

← 返回机器学习

开篇

AI Infra (Memory Storage) 入门到前沿

第一章：AI 基础设施（AI Infra）基础入门

AI Infra 的定义和范畴

AI 训练和推理系统的整体架构

GPU／TPU／NPU 等 AI 加速硬件详解

分布式训练基础

集群网络和通信

存储系统在 AI 中的作用

AI Serving 系统的演进

第二章：LLM 训练与推理基础

Transformer 架构详解

LLM 训练流程

训练优化技术

LLM 推理的两个阶段

KV Cache 的原理和作用

推理优化技术

批处理和调度策略

总结与展望（第二章）

第三章：AI Infra 最新前沿论文分析（2024-2025）

引言：LLM 推理优化的核心挑战

OSDI 2024 论文深度分析

FAST 2025 最佳论文：Mooncake 深度解析

ASPLOS 2024 论文深度分析

其他重要工作

技术演进脉络分析

技术对比总结

对 Mooncake 实习新人的建议

本章小结（第三章）

第四章：Prefill-Decode (PD) 分离技术详解

为什么需要 PD 分离

PD 分离的基本架构

Chunked Prefill vs PD Disaggregation

Mooncake 的 PD 分离实现

vLLM Disaggregated Prefilling

DistServe 的设计

PD 分离中的 KV Cache 传输优化

调度策略和负载均衡

实际部署的挑战和解决方案

总结与展望（第四章）

第五章：KV Cache 存储与网络传输优化

KV Cache 的基本原理

KV Cache 的内存占用分析

PagedAttention 机制

Prefix Caching 技术

KV Cache 的压缩和量化

分层存储架构

KV Cache 的网络传输优化

Mooncake KV Cache-centric 架构

LMCache 的设计

InfiniStore 等 KV Cache 存储系统

最佳实践与优化建议

本章小结（第五章）

第六章：Mooncake 和 AI Serving Stack

Mooncake 项目背景

Mooncake 的整体架构

核心组件详解

与 vLLM 的集成

与 SGLang 的集成

Mooncake 的开源生态

实际部署案例

性能数据和优化效果

使用指南

进阶主题

第七章：AI Infra 核心算法详解

Attention 算法家族

推理加速算法

调度算法

压缩算法

MoE 相关算法

总结与展望（第七章）

第八章：技术图表集

AI Infra 整体架构图

LLM 训练和推理流程图

Transformer 架构图

Mooncake 架构图

PD 分离架构对比图

KV Cache 管理图

PagedAttention 机制图

分布式训练并行策略对比图

推理调度时序图

投机解码流程图

本页目录

KV Cache 管理图

6.1 生命周期管理

6.2 分层存储架构

最后更新:

Pager

上一篇PD 分离架构对比图

下一篇PagedAttention 机制图

用心记录，持续成长

KV Cache 管理图 ​

6.1 生命周期管理 ​

6.2 分层存储架构 ​

KV Cache 管理图

6.1 生命周期管理

6.2 分层存储架构