树架构设计与暂缓

一、SPR 的设计要点

SPR（语义前缀路由）的核心思路是用一棵递归语义判定树替代 Transformer 的输出矩阵。

1.1 结构

每个内部节点是一个极小的线性门：

$$P(\text{左}) = \sigma(\mathbf{h} \cdot \mathbf{w} + b)$$

树查找 max arg 只需要 O(log V) 步——从根往下，每步问"左还是右"。

1.2 参数效率

512 个内部节点，每个 d+1 个参数：

方案 参数 查 max
稠密 Output 矩阵 $256 \times 32000 = 8.2\text{M}$ 32000 次乘法
SPR 树 $512 \times 257 \approx 131\text{K}$ ~15 次判定

60 倍的参数节省，查 max 快 2000 倍。

1.3 天然语义分离

同一个 token（cat = Linux 命令 vs cat = 动物）在不同上下文走不同路径，路径即语义。稠密向量把两个 cat 混在同一行里——SPR 不需要解决这个问题，因为这个问题的存在本身就是矩阵参数化的产物。

1.4 树的拓扑学习

最激进的方案：树拓扑随训练改变——每个 gradient step 不仅更新边权，还重组子节点分布。这等于把 embedding 学习变成了树结构的动态重组。

二、为什么暂缓——硬件壁垒

2.1 矩阵乘法有 20 年的硬件加速

logits = hidden @ O.T     # 256×32000 矩阵乘，GPU 一行搞定

这个操作背后是 NVIDIA 投入了 20 年、几十亿美元优化的 cuBLAS + Tensor Cores。

2.2 树遍历没有硬件加速

# SPR 要做的事：
node = root
while not is_leaf(node):
    gate = sigmoid(hidden @ node.w)  # 256 维内积 × 15 次
    node = node.left if gate > 0.5 else node.right

每个 node 判断一次 256 维内积。512 个节点分布在树的各层，每次只激活一条路径上的 ~15 个节点——其余 497 个 CUDA core 在闲着。

2.3 需要的不是算法，是编译器

这个问题不在算法层，在硬件/编译器层：

  • 树遍历 = 串行条件分支 → GPU warp divergence
  • 动态拓扑重组 = 每一步改变 graph → 重新编译 kernel
  • 没有类似 cuBLAS 的 cuTREE 库

SPR 的瓶颈不在算法，而在硬件生态。Transformer 的价值不仅在于架构，更在于 20 年积累的硬件优化。

三、正确的路线：优化 Transformer

在硬件未跟上前，继续走 Transformer 优化：

优化 效果 难度
AMP（混合精度） 2-4x 加速 低（一行代码）
FlashAttention 显存砍半 + 加速 中（需要库）
cuDNN benchmark 免费提速 低
梯度累积 等效增大 batch 低
量化（INT8/INT4） 推理加速 中

四、SPR 的定位

SPR 不是一个被放弃的想法，而是一个等硬件追上的时序性投资：

  • 现在：继续优化 Transformer，产出实验数据
  • 近期：实现静态 SPR（固定树拓扑），用现有 PyTorch 模拟，测 IWSLT14 上的 feasibility
  • 远期：当硬件/编译器支持动态图重编译时，SPR 的树拓扑学习可以落地

May the Code be with us.

License: GPLv3