蒸馏的梯度从哪里来
STONE-1 已经在固定的一百万句平台上完成了三种子复现。下一步很自然： 能不能把开源翻译模型已有的能力传给 TreeHeap？
问题并不只是“找一个更强模型生成答案”。真正需要回答的是：
原来的训练目标是一条确定译文。教师现在给出多个答案和概率，这种 不确定性凭什么成为学习信号？它又凭什么代表真实世界？
第二个问题的答案必须先说清楚：
教师概率不等于真实世界。
它只表示一个具体模型在其训练数据、参数和算法下形成的判断。
1. 原来的梯度
假设正确 token 是“米饭”，TreeHeap 输出：
米饭 0.20
面条 0.60
苹果 0.20
确定标签写成：
米饭 1
面条 0
苹果 0
交叉熵在输出 logits 上产生：
$$ \frac{\partial L}{\partial z}=p-y $$
于是“米饭”获得负梯度，概率会被提高；“面条”获得正梯度，概率会被
压低。梯度再经过 decoder、不同深度的读取概率、H_state 和递归 FOLD
回到 encoder。
2. 不确定目标并不产生随机 loss
教师可能给出：
米饭 0.70
面条 0.20
苹果 0.10
对应损失：
$$ L=-\sum_i q_i\log p_i $$梯度为：
$$ \frac{\partial L}{\partial z}=p-q $$只要教师分布 \(q\) 已经保存，loss 和梯度就是确定的。这里的不确定性 描述候选答案之间的权重，不表示计算过程随机。
但它只能让学生逼近 \(q\)。如果教师错了，TreeHeap 就会稳定地学习一个 错误分布。数学上能够学习，不等于知识来自真实世界。
3. 数据集的“确定”也不是唯一真理
WMT 中可能只有：
It is a good idea.
这是个好主意。
现实里还可以说：
这个想法不错。
这是一个不错的办法。
这么做挺好。
文件中的标签是一条确定观测，但不是语言只有一个正确表达。教师的多个 候选可能补充这种多样性，也可能只是复制教师自己的偏好。两种解释必须 通过控制实验区分。
4. 不把教师矩阵写进 TreeHeap
本实验拒绝 hidden-state 对齐，也不把教师的 Q/K/V、地址或中间坐标送入 TreeHeap。教师只离线生成候选字符串和候选分数：
英文 x
-> OPUS-MT 产生四个中文候选及分数
-> 中文字符串重新使用 TreeHeap tokenizer 编码
-> TreeHeap 按自己的 FOLD、H_state 和 decoder 计算 loss
-> 梯度只在 TreeHeap 计算图中反向传播
教师不会把自己的梯度传给 TreeHeap。它只改变输出端用来计算差值的目标。
5. 四个实验臂
我们不允许“加了教师以后指标变好”直接成为结论。正式比较四组：
| 实验臂 | 训练目标 |
|---|---|
| A：gold | 只学习真实 WMT 译文 |
| B：top-1 | 50% 真实译文 + 50% 教师最优译文 |
| C：top-k | 50% 真实译文 + 50% 教师四个候选的加权期望 |
| D：shuffled | 和 C 使用相同候选，但打乱教师权重 |
对应公式：
$$ L_A=CE(y,p) $$$$ L_B=0.5CE(y,p)+0.5CE(y_1,p) $$
$$ L_C=0.5CE(y,p)+0.5\sum_k q_k CE(y_k,p) $$
$$ L_D=0.5CE(y,p)+0.5\sum_k \operatorname{shuffle}(q)_k CE(y_k,p) $$
D 很重要。它保留相同句子和相同计算量，只破坏教师对候选的排序。如果 C 和 D 没有差别，就不能说教师的不确定性携带了有用知识。
第一次冒烟实验还暴露了一个必要的校准条件：温度为 1.0 时，四候选平均熵 达到 1.3853 nat，而四分类理论最大值是 \(\ln 4=1.3863\)。Top-1 平均权重 也只有 0.2607，几乎等于均匀分布的 0.25。这样的概率桶没有足够强的排序 信号，打乱前后自然不会有明显区别。
因此正式实验把温度预注册为 0.1，并要求 Top-1 平均权重至少达到 0.30。 这里校准的是实验信号能不能被辨认，不是根据学生成绩倒推一个好看的参数。
6. 预注册预测
只有同时满足以下条件，才支持教师不确定性有额外价值：
C 的 test NLL 至少比 B 低 0.02
C 的 BLEU-4 至少比 B 高 0.20
C 的 test NLL 至少比 D 低 0.02
如果 B 优于 A，而 C 不优于 B，正确结论是：
教师的确定 top-1 答案有帮助，但教师概率没有提供可测量的额外知识。
如果 C 和 D 相等，则教师排序没有通过因果控制。
如果所有教师臂都输给 A，就应当拒绝这个教师或训练配方，而不是继续扩大 训练规模等待幸运结果。
7. TreeHeap 还必须保持存在性
质量提升不能以退化成 flat decoder 为代价。实验仍检查：
encoder 是否收到非零有限梯度
encoder 参数是否真的改变
打乱不同深度 detail 是否损害测试 NLL
六个可见深度是否都保留梯度水压
输出是否非空、是否严重重复
如果 BLEU 提高而 detail shuffle 不再造成损失，只能说蒸馏改善了普通 生成器，不能说知识进入了 TreeHeap 私有协议。
8. 本轮实验边界
第一轮使用 300K 训练句、固定 2K 验证和 2K 测试、一个训练种子。它是 机制筛选，不是 STONE-2 完成实验。
如果 top-k 同时击败 top-1 和 shuffled，才扩到一百万句和三个种子。
无论结果如何，本实验都不能证明：
教师概率就是真实世界概率
TreeHeap 获得了教师完整知识
TreeHeap 获得意识或世界模型
它只回答一个可以被数据否定的问题：
教师对多个候选的概率排序，是否包含超出确定 top-1 文本的可迁移信息？