推理结构地基
69 字
1 分钟
推理结构地基
大家好，我是芯缘，是 Datawhale 社区发起的 2026 年 8 月“llm-algo-leetcode 推理优化方向”组队学习活动的运营助教。本文记录了我学习 Task 0：推理结构地基 的笔记。
【敬请期待】
参考资料
文章分享
如果这篇文章对你有帮助，欢迎分享给更多人！
相关文章智能推荐
1
推理优化 Benchmark
llm-algo-leetcode 推理优化推理优化 Benchmark 综合项目：Inference Performance Comparison、Quantized Inference、Speculative Decoding 与 Prefix Caching 基准。Datawhale llm-algo-leetcode 推理优化课程 Task 6 笔记，正在完善中。
2
FlashAttention 1～4 全解汇总
llm-algo-leetcode 推理优化FlashAttention 1～4 全解汇总：FA1 的 IO 感知分块注意力、FA2 的序列维并行与 Warp 工作划分、FA3 在 Hopper 上的异步与低精度优化、FA4 面向 Blackwell 的算法-流水线协同设计。Datawhale llm-algo-leetcode 推理优化课程 Task 2 笔记。
3
KV Cache 与推理服务内存管理
llm-algo-leetcode 推理优化KV Cache 与推理服务内存管理：vLLM PagedAttention、SGLang RadixAttention、Prefix Caching 与 Chunked Prefill。Datawhale llm-algo-leetcode 推理优化课程 Task 4 笔记，正在完善中。
4
llm-algo-leetcode 推理优化笔记
llm-algo-leetcode 推理优化Datawhale llm-algo-leetcode 推理优化课程的笔记导航页，汇总本系列各 Task 的学习笔记（GPU 架构与内存、KV Cache 优化技术等）。
5
模型量化策略
llm-algo-leetcode 推理优化量化推理与部署：INT4/INT8 量化理论、W8A16、GPTQ 与 AWQ 权重量化。Datawhale llm-algo-leetcode 推理优化课程 Task 5 笔记，正在完善中。
随机文章随机推荐
评论区
--
总访问量
--
访客数
音乐
暂未播放
0:000:00
文章
123
分类
20
标签
174
总字数
1,103,045
运行时长
0 天
最后活动
0 天前
