llm-algo-leetcode 推理优化笔记

大家好，我是芯缘，是 Datawhale 社区发起的 2026 年 8 月“llm-algo-leetcode 推理优化方向”组队学习活动的运营助教。本页汇总了我在本次活动中的笔记。

目录#

任务	学习内容	学习笔记
Task 0：推理结构地基	Task 0: Attention MHA GQA	- 推理结构地基
Task 1：GPU 硬件与 KV Cache	Task 1-1: GPU Architecture and Memory Task 1-2: KV Cache and Memory Growth	- GPU 架构与内存 - KV Cache 与优化技术
Task 2：Attention 访存瓶颈与 FlashAttention	Task 2-1: FlashAttention Sim Task 2-2: FlashAttention Memory Model	- FlashAttention 1～4 全解汇总
Task 3：解码算法	Task 3-1: Decoding Strategies Task 3-2: Speculative Decoding Task 3-3: Multi-Token Decoding Task 3-4: Decode Scheduling	- 从 Logits 到 Token：解码采样策略 - Speculative Decoding - 调度策略
Task 4：KV Cache 与推理服务内存管理	Task 4-1: KV Cache and Memory Growth Task 4-2: vLLM PagedAttention Task 4-3: SGLang RadixAttention Task 4-4: Prefix Caching and Chunked Prefill Task 4-5: KV Cache Scheduling	- KV Cache 与推理服务内存管理 - 调度策略
Task 5：量化推理与部署	Task 5-1: Quantization Theory and INT4 INT8 Task 5-2: Quantization W8A16 Task 5-3: GPTQ and AWQ Weight Quantization Task 5-4: FP8 and KV Cache Quantization	- 模型量化策略
Task 6：综合项目	Task 6-1: Inference Performance Comparison Task 6-2: Quantized Inference and Deployment Task 6-3: Speculative Decoding Benchmark Task 6-4: Prefix Caching Benchmark	- 推理优化 Benchmark