答疑特辑(四):全场景机器人、共享 KV cache 与 agent harness 三问
回答三问:全场景机器人要不要装 8 张 B200、540 GB 共享预计算 KV cache 从哪来、agent 与 agentic AI 和 harness 有何区别。
Cover Image of the Post
H³ 完全拆解:HBM 与高带宽闪存(HBF)混合架构如何驯服长上下文推理的内存墙
拆解 SK 海力士 H³:菊花链整合 HBM 与高带宽闪存,延迟隐藏缓冲藏住 20μs,每瓦吞吐最高 2.69 倍。
Cover Image of the Post
Hot Chips 2026 全景拆解:Agentic AI 时代,CPU、GPU 与内存的重新分工
从 NVIDIA Vera 到 IBM 双指令集主机,从 775 微米 HBM 极限到 d-Matrix 3D-DRAM,全景拆解第 38 届 Hot Chips。
Cover Image of the Post
连续批处理完全拆解:Orca 的迭代级调度与选择性批处理,如何把 LLM 服务吞吐提升 36.9 倍
从请求级调度的 padding 浪费讲起,拆解 Orca 的迭代级调度与选择性批处理,理解连续批处理如何成为推理服务的地基。
Cover Image of the Post
人形机器人必答题:为什么要人形?双足、灵巧手与「玩具论」的完整回应
逐条回应人形机器人五大质疑:环境适配、双足与轮式之争、手指与夹爪之辩、「宇树是玩具厂商吗」与商业化真相。
Cover Image of the Post
HG-PIPE 完全拆解:混合粒度流水线,让 FPGA 把 ViT 跑到 7118 FPS(ICCAD 2024)
拆解北大 HG-PIPE:混合粒度流水线消除气泡、LUT 算子替代 DSP,FPGA 上比 V100 快 2.81 倍的 ViT 加速器
Cover Image of the Post
TEAM 完全拆解:时空一致性引导专家激活,MoE 扩散语言模型推理加速 2.2 倍(ICML 2026)
拆解 TEAM:延迟缓存、投机探索与受限激活三策略协同,MoE 扩散模型最高 2.2 倍推理加速。
Cover Image of the Post
跨模型 KV 缓存转移(Cross-Model KV Transfer):闭式线性映射与 Prefill 复用
同族模型间的 KV 缓存近似线性相关,闭式岭回归映射让小模型算好的 KV 直接喂给大模型,跳过 Prefill。
Cover Image of the Post
FreeToken 完全拆解:带宽自适应执行,让 8GB 笔记本跑 35B、单卡工作站跑 753B 的边缘 MoE 服务系统
拆解 FreeToken 的 q* 带宽自适应策略、语义感知缓存与弹性显存管理,边缘设备如何跑起前沿 MoE 模型。
Cover Image of the Post
数值线性代数(一):高斯消元、LU 分解与「不要显式求逆」
从范数补课到条件数几何直觉,完整推导高斯消元、主元策略与 LU 分解,理解为什么工程上从不显式求逆。
Cover Image of the Post
信息论基础:熵、交叉熵与 KL 散度——LLM 推理中无处不在的数学
从惊讶程度到比特:完整推导熵、交叉熵、KL 散度与困惑度,并落到量化评估、投机解码与温度采样的具体用法上。
Cover Image of the Post
GPU GEMM 优化完全拆解(二):寄存器分块、向量化访存与 Warp Tiling
寄存器分块让每线程算 64 个结果,向量化访存与 Warp Tiling 把 GEMM 推到 cuBLAS 的 93.7%。
Cover Image of the Post
访客信息
--°天气加载中

正在获取所在地区…

💨 风力--
💧 湿度--

正在读取天气

Profile Image of the Author
平昊阳
乘长风,破巨浪, 展鸿图于未央!
公告
欢迎来到我的个人博客!欢迎关注交流吖!
更多相关公告,见
「社交-留言」。
音乐
封面

音乐

暂未播放

0:000:00
暂无歌词
站点统计
文章
448
分类
29
标签
451
总字数
6,178,652
运行时长
0 天
最后活动
0 天前
最新动态

文章目录