音乐
音乐
暂未播放
0:00/0:00
暂无歌词
AIGC
Image API Error

HG-PIPE 完全拆解:混合粒度流水线,让 FPGA 把 ViT 跑到 7118 FPS(ICCAD 2024)
2026-08-24
拆解北大 HG-PIPE:混合粒度流水线消除气泡、LUT 算子替代 DSP,FPGA 上比 V100 快 2.81 倍的 ViT 加速器
Image API Error

TEAM 完全拆解:时空一致性引导专家激活,MoE 扩散语言模型推理加速 2.2 倍(ICML 2026)
2026-08-24
拆解 TEAM:延迟缓存、投机探索与受限激活三策略协同,MoE 扩散模型最高 2.2 倍推理加速。
Image API Error

跨模型 KV 缓存转移(Cross-Model KV Transfer):闭式线性映射与 Prefill 复用
2026-08-24
同族模型间的 KV 缓存近似线性相关,闭式岭回归映射让小模型算好的 KV 直接喂给大模型,跳过 Prefill。
Image API Error

FreeToken 完全拆解:带宽自适应执行,让 8GB 笔记本跑 35B、单卡工作站跑 753B 的边缘 MoE 服务系统
2026-08-24
拆解 FreeToken 的 q* 带宽自适应策略、语义感知缓存与弹性显存管理,边缘设备如何跑起前沿 MoE 模型。
Image API Error

Image API Error

Image API Error

GPU GEMM 优化完全拆解(二):寄存器分块、向量化访存与 Warp Tiling
2026-08-24
寄存器分块让每线程算 64 个结果,向量化访存与 Warp Tiling 把 GEMM 推到 cuBLAS 的 93.7%。
Image API Error

答疑特辑(三):矩阵秩的参数计数、TPU 训练架构与 AI 芯片算力全景
2026-08-23
回答四问:r(n+m−r) 的 −r 从哪来、TPU 如何训练 Gemini、TPU 与 B200/B300 的算力口径差、2026 年 GPU/TPU/NPU 全景。
Image API Error

FPGA 加速器完全拆解(二):LLM 推理的前沿技术——FlightLLM、CXL-SpecKV 与 LightMamba
2026-08-23
拆解 FPGA 加速 LLM 推理的三条前沿路线:FlightLLM 完整映射流程、CXL-SpecKV 投机 KV 缓存与 LightMamba 量化硬件协同设计。
Image API Error

答疑特辑(二):浮点数五问——无限循环小数、spacing at 1、Python 精度与舍入方式详解
2026-08-23
回答浮点数文章收到的五个问题:无限循环小数与有理数、spacing at 1 与 ULP、Python 默认精度、各工具链舍入方式与银行家舍入。
Image API Error

GPU GEMM 优化完全拆解(一):从朴素 Kernel 到共享内存分块
2026-08-23
从朴素 Kernel 讲起,拆解内存合并访问与共享内存分块两大优化,为什么 309 GFLOPS 能涨到 2980 GFLOPS。
Image API Error

Image API Error

FPGA 加速器完全拆解(一):可重构硬件、设计空间与经典推理引擎
2026-08-23
从 LUT/DSP/BRAM 到 EIE、ESE 与 Brainwave,拆解 FPGA 加速深度学习推理的底层原理与经典设计。
Image API Error

浮点数与数值稳定性:从 IEEE 754 到 FP8 的 LLM 精度世界
2026-08-23
从 IEEE 754 位布局、舍入误差到在线 softmax 与 FP8 缩放,讲透 LLM 推理中的数值精度问题。
Image API Error

DualPath 完全拆解:双路径 KV-Cache 加载,把解码引擎的闲置网卡变成智能体推理加速器(SIGCOMM 2026)
2026-08-22
拆解 SIGCOMM 2026 的 DualPath:让解码引擎直读 KV-Cache 再经 RDMA 回传,离线吞吐最高提升 1.87 倍。
Image API Error

答疑特辑:秩与 SVD、RoPE 旋转矩阵、投机解码原理与 AI 芯片全景
2026-08-21
为 MLA、DSpark/DFlash、TPU v1 三篇读者答疑:线性代数基础、投机解码原理与 AI 芯片全景对比。
Image API Error

TPU v1 完全拆解(二):脉动阵列、weight-stationary 数据流与 Roofline 性能归因
2026-08-21
从脉动阵列的时序原理、三种数据流模式到 Roofline 性能模型,彻底解释 92 TOPS 的 MXU 为何平均只用 28%。
Image API Error

TPU v1 完全拆解(一):为推理而生的领域专用架构与指令集
2026-08-20
从芯片架构、内存层次到 CISC 指令集,拆解 Google 第一代 TPU 如何用 15 个月造出推理专用 ASIC。
Image API Error

PagedAttention 完全拆解:操作系统分页思想如何拯救 LLM 推理的内存利用率
2026-08-20
从 KV Cache 内存浪费讲起,彻底拆解 PagedAttention 的分块存储、块表、写时复制与 vLLM 的调度抢占。
Image API Error

MLA 完全拆解:DeepSeek 低秩 KV 压缩注意力的原理与全部实现细节
2026-08-19
从低秩压缩、RoPE 解耦到矩阵吸收与 FlashMLA kernel,彻底讲透 MLA 的每个公式与实现细节。
Image API Error

TokenWeave:粗粒度 Token 切分与融合 AllReduce-RMSNorm,张量并行推理延迟最高降 29%(MLSys 2026)
2026-08-19
拆解 MLSys 2026 的 TokenWeave:GPU 波感知粗粒度切分与融合 AllReduce-RMSNorm,TP 推理延迟最高降 29%。
Image API Error

Blink:把 CPU 请出推理关键路径——SmartNIC 与 GPU 常驻内核的 CPU-Free 服务架构(2026)
2026-08-18
拆解 Blink:SmartNIC 直通 RDMA、GPU 常驻调度内核接管批处理,CPU 干扰下性能纹丝不动,P99 TTFT 最高降 8.47 倍。
Image API Error

CLAA:跨层注意力聚合,长上下文 Prefill 的 TTFT 最高降低 39%(2026)
2026-08-17
拆解 CLAA:以答案回看注意力定义 token 真值重要性,跨层聚合修复排序不稳,TTFT 最高降低 39%。
Image API Error

MAC-Attention:Match-Amend-Complete 注意力复用,长上下文解码 KV 读取最高减少 99%(MLSys 2026)
2026-08-17
拆解 MLSys 2026 的 MAC-Attention:复用相似查询的注意力摘要,解码 KV 读取最高减少 99%。
Image API Error

XFP:质量地板驱动的自适应码本量化——3.4 位在双卡工作站跑通 397B MoE
2026-08-16
拆解 XFP 码本量化:稀疏离群值分离、双阈值自动选位与融合解码 kernel,3.4 有效位双卡跑通 397B MoE。
Image API Error

BLASST:一个标量阈值实现的动态块稀疏注意力(MLSys 2026)
2026-08-15
拆解 MLSys 2026 的 BLASST:复用在线 Softmax 统计量跳过低贡献块,训练无关加速长上下文推理。
Image API Error

Image API Error

ExpertPlex:共享专家、分离注意力,MoE 高吞吐推理服务的新架构
2026-08-13
拆解 ExpertPlex 的自适应持久 kernel 与注意力发起的单边通信,如何在 MoE 服务中获得最高 2.01 倍吞吐。
Image API Error

DFlash 块扩散解码:以并行扩散替代自回归草稿,实现无损 6 倍推理加速
2026-08-12
深入拆解 ICML 2026 论文 DFlash,从 KV 注入到块扩散去噪,理解如何用扩散模型替代自回归草稿生成。
Image API Error

DSpark:半自回归生成与置信度调度的投机解码
2026-08-11
深入拆解 DeepSeek 与北大联合开源的 DSpark 框架,从半自回归草稿生成到置信度调度验证,揭示投机解码如何在生产环境中实现最高 85% 的生成加速。
Image API Error

FlashAttention-4:面向 Blackwell 的算法-流水线协同设计
2026-08-10
深入拆解 FlashAttention-4 如何通过 warp 特化流水线、混合指数计算与条件 softmax 重缩放,在 Blackwell GPU 上将注意力计算推至矩阵乘法级别速度。
Image API Error

--
总访问量
--
访客数
公告
音乐
音乐
暂未播放
0:00/0:00
暂无歌词
站点统计
文章
66
分类
16
标签
93
总字数
477,284
运行时长
0 天
最后活动
0 天前
最新动态




