为什么带宽比算力更早成为瓶颈

智芯观察在整理公开参数时发现一个规律：当模型参数量跨过某个门槛后，算力利用率往往先被显存带宽拖住。训练阶段的梯度同步、激活值读写，推理阶段的权重加载与KV缓存，都会把压力集中到内存子系统上。换句话说，纸面算力再高，喂不饱数据通路也只能空转。

这也是智芯观察在产品与方案栏目里坚持把显存带宽单列成项的原因。对训练卡而言，带宽决定了大 batch 场景下的吞吐上限；对推理卡而言，带宽直接关系到首 token 延迟与并发承载。两者看似同源，实际取舍完全不同。

训练场景：容量优先，带宽其次，互联第三

训练负载的特征是数据复用率高但中间态庞大。公开资料显示，主流训练方案普遍把显存容量放在第一优先级，因为容量不足意味着模型切分与频繁换入换出，带宽优势会被抵消。智芯观察建议按以下顺序评估：

  • 显存容量是否覆盖单卡可容纳的最大模型分片，避免通信开销反噬。
  • 显存带宽是否匹配目标算力，通常看带宽与峰值算力的比值是否落在合理区间。
  • 卡间互联带宽是否支撑数据并行与张量并行的扩展效率。
  • 软件栈对混合精度、梯度累积、通信重叠的支持程度。

值得注意的是，训练方案的软件栈适配往往比硬件参数更影响落地周期。智芯观察在对比公开方案时看到，同一档硬件在不同编译器与通信库版本下，实际吞吐差异可能相当可观，因此参数表只能作为起点。

推理场景：带宽敏感，容量适中，延迟为王

推理负载的核心矛盾是权重读取。以自回归生成为例，每生成一个 token 都要把大量权重从显存搬进计算单元，带宽几乎线性决定了解码速度。智芯观察观察到，面向推理的方案更看重带宽与容量的平衡，而非单纯堆算力。

  • 显存带宽决定单路解码速度，是首 token 延迟与输出速率的关键。
  • 显存容量决定可承载的并发会话数与上下文长度。
  • 量化与稀疏支持能显著降低带宽压力，但需软件栈配合。
  • 端侧推理还要把功耗纳入同一张表，带宽效率比绝对带宽更有意义。

在端侧与边缘场景，智芯观察建议把每瓦带宽作为横向对比指标。公开规格书里的峰值带宽通常在理想功耗下测得，实际设备受散热与调度影响，持续带宽往往打折，方案评估时应留出余量。

把参数表变成决策表

智芯观察的做法是把训练、推理、端侧三类场景拆成独立对照表，每张表只保留四到五个决定性字段：显存带宽、显存容量、典型功耗、软件栈成熟度、互联或接口能力。这样做的目的是避免用一张全能表掩盖场景差异。

对读者而言，赛季前的方案评估不必追求参数最高，而应追求匹配度最高。智芯观察会持续按场景整理公开参数与方案对比，把带宽、功耗与软件栈适配这些关键差异摆在同一视野里，方便读者自行判断取舍。