笔记

AI Infra 优质学习资料索引，汇集公众号、视频、开源项目、各平台模型部署教程与专题资源。

LeetGPU 题解索引，汇总 CUDA、Triton 与 PyTorch 实现笔记。

Datawhale llm-algo-leetcode 推理优化课程的笔记导航页，汇总本系列各 Task 的学习笔记（GPU 架构与内存、KV Cache 优化技术等）。

LeetCode 题解汇总。

Roofline Model 的基本概念、Arithmetic Intensity、memory-bound / compute-bound 判断，以及 GEMM、FlashAttention、算子融合等常见优化方向。

Datawhale llm-algo-leetcode 推理优化课程 Task 0（Attention MHA 与 GQA）学习笔记，正在完善中。

从 Logits 到 Token 的解码采样策略：Temperature、Top-K、Top-P（Nucleus）原理，以及 Claude Code 文字水印技术。Datawhale llm-algo-leetcode 推理优化课程 Task 3 笔记。

投机解码（Speculative Decoding）与多 token 解码技术：基本原理、分类，以及 MTP、DFlash、DSpark 概览。Datawhale llm-algo-leetcode 推理优化课程 Task 3 笔记。

KV Cache 与推理服务内存管理：vLLM PagedAttention、SGLang RadixAttention、Prefix Caching 与 Chunked Prefill。Datawhale llm-algo-leetcode 推理优化课程 Task 3 笔记。

量化推理与部署：INT4/INT8 量化理论、W8A16、GPTQ 与 AWQ 权重量化。Datawhale llm-algo-leetcode 推理优化课程 Task 5 笔记，正在完善中。

Decode Scheduling 与 KV Cache Scheduling 的推理调度策略笔记。Datawhale llm-algo-leetcode 推理优化课程 Task 3/4 笔记，正在完善中。

推理优化 Benchmark 与指标体系：TTFT、TPOT、ITL、throughput、peak memory、P50/P95/P99，以及 preemption 与常见性能问题分析。

FlashAttention 1～4 全解汇总：FA1 的 IO 感知分块注意力、FA2 的序列维并行与 Warp 工作划分、FA3 在 Hopper 上的异步与低精度优化、FA4 面向 Blackwell 的算法-流水线协同设计。Datawhale llm-algo-leetcode 推理优化课程 Task 2 笔记。

KV Cache 内存计算与优化技术：MHA/MQA/GQA/MLA 注意力架构、KV Cache 量化、Sliding-Window Attention、StreamingLLM、PagedAttention、Prefix Caching、CPU Offloading。Datawhale llm-algo-leetcode 推理优化课程 Task 1-2 笔记。

GPU 架构与内存层次详解：V100/A100/H100/B200 规格与架构演进、Tensor Core、GPU 内存层级。Datawhale llm-algo-leetcode 推理优化课程 Task 1-1 笔记。