结论前置：精度可以打折，带宽几乎不能打折

复盘近两年推理芯片的演进路径，可以先把结论摆在前面：算力精度是可以被量化、被压缩、被重新权衡的变量，而显存带宽在多数推理负载里属于硬约束。人人看球技术解读栏目在梳理公开规格书时发现，同一档算力的芯片，带宽差一倍，实际吞吐可能差出数倍。原因不复杂——推理阶段的瓶颈往往不在乘加单元，而在把权重和激活值从显存搬到计算单元的路上。

理解这一点，需要把三个指标分开看：算力精度决定单次计算能压到多低，显存容量决定模型能不能放得下，显存带宽决定放得下之后跑得快不快。三者不是替代关系，而是串联关系。人人看球在术语百科里对这三项都有独立条目，建议对照阅读。

  • 算力精度：从 FP16 到 INT8 再到 INT4，压缩的是数值位宽，收益是单位面积算力密度提升。
  • 显存容量：决定单卡能承载的参数量与上下文长度，容量不足就要切分或换卡。
  • 显存带宽：决定权重搬运速率，带宽不足时算力单元会空转等待。

复盘一：量化压缩为什么先撞上带宽墙

把权重从 FP16 压到 INT8，理论算力翻倍，但权重体积只减半，搬运次数并没有同比例下降。人人看球在整理公开方案资料时注意到，很多推理场景的实际加速比低于纸面算力提升，差距主要来自带宽与调度开销。换句话说，精度下降释放的是计算资源，带宽不足限制的是数据供给，两者不在同一个维度上。

更值得复盘的是显存容量与带宽的配比。容量大而带宽低的方案，适合长上下文、低并发；带宽高而容量紧的方案，适合短请求、高并发。人人看球建议读者在看参数表时，把带宽除以容量得到一个粗略的“周转比”，这个比值比单独看任一数字更能反映设计取向。术语百科中“显存带宽”条目对此有更细的拆解。

复盘二：互连拓扑决定了多卡之后带宽还能不能守住

单卡带宽达标，不等于多卡集群带宽达标。互连拓扑在这里扮演的是“带宽放大器或衰减器”的角色：全连接拓扑能让卡间通信接近线性扩展，环形或分层拓扑在跨组通信时会出现明显掉速。人人看球在解读公开集群方案时发现，很多推理服务的尾延迟问题，根源不在单卡，而在跨卡聚合阶段的带宽塌陷。

封装形式同样影响带宽的可得性。把显存与计算 die 放进同一封装，可以缩短走线、提升能效比，但封装内的带宽预算和散热预算是一起分配的。人人看球提醒，看到“封装内高带宽”这类描述时，要追问封装形式与散热边界，而不是只看峰值数字。相关概念在术语百科“先进封装”条目中有展开。

  • 看单卡：带宽、容量、精度三者配比是否均衡。
  • 看多卡：互连拓扑在跨组通信时是否掉速。
  • 看封装：带宽提升是否以散热和成本为代价。

给读者的观察清单

复盘的价值在于把指标还原成场景。人人看球建议按负载类型选观察重点：长上下文场景优先看容量与带宽的比值，高并发短请求优先看带宽与调度效率，多卡部署优先看互连拓扑的实际聚合效率。把这些指标放回真实负载里对照，比单看峰值算力更接近实际体验。人人看球客户端在安卓、苹果 iOS、Windows 电脑版与 Mac 电脑版上均可查看术语百科与方案对比，方便随时对照阅读。

最后提醒一句：精度是可调参数，带宽是物理约束。复盘时先问带宽够不够，再问精度降不降，顺序反了，结论就容易偏。