# REDIAL (2026)：从 Embedding 扰动看 RNA 语言模型学到了什么


REDIAL 核心方法：**突变一个碱基，观察其他位置的 embedding 怎么变**

这篇文章主要回答两个问题：

1. 不训练下游预测器，能不能直接读出 RNA 语言模型中的结构信息？
3. 一个 12 层的 RNA 语言模型，每一层都有必要吗？

> 本文基于作者于 2026 年 5 月 12 日发布的 bioRxiv 预印本版本。

## 评价基础模型依赖下游结构预测

评价基础模型如 RNA-FM时，主要关注的是 RNA-FM 提取 embedding 后，如何通过下游模块生成三维结构。

```text
RNA 序列 → 预训练语言模型 → embedding → 下游结构模块 → 3D 结构
                 ↑                         ↑
         预训练学到的信息            结构训练集、模型先验等
```

下游模型可以从结构训练数据中补充信息，也可能记住某些常见结构。因此，最终预测准确，不足以单独证明基础模型学到了可泛化的结构规律。

这篇文章希望绕开下游训练，直接检查预训练模型的表征。

## REDIAL：从单点突变到 coupling map

![REDIAL 与 Categorical Jacobian 的读取位置](https://img.fupcode.com/images/landscape/webp/20260917_102125_628.webp)

*原文 Fig. 1：REDIAL 观察各层 embedding；Categorical Jacobian 观察 LM-head 输出的 logits。*

### 核心思路

如果位置 $i$ 与位置 $j$ 存在结构或序列依赖，改变 $i$ 的碱基，可能影响模型对 $j$ 的表示。

### 计算过程

对长度为 $L$ 的 RNA，模型输出 $L\times c$ 的 embedding，其中 $c$ 是 hidden dimension。

1. **按通道标准化**：让各通道均值为 0、方差为 1，避免少数高幅度通道主导结果。
2. **逐位置突变**：每个位置枚举 A、C、G、U，包含原始碱基，共 $4L$ 个组合。
3. **计算扰动**：将突变序列与原序列的标准化 embedding 相减。
4. **聚合并去背景**：得到位置之间的 coupling map。

用 $\tilde z$ 表示标准化后的 embedding，扰动张量为：

$$
J_{iajk}=\tilde z_{jk}(x^{i\to a})-\tilde z_{jk}(x),
\qquad J\in\mathbb{R}^{L\times4\times L\times c}.
$$

其中，$i$ 是突变位置，$a$ 是替换碱基，$j$ 是被观察的位置，$k$ 是 embedding 通道。

按原文 Methods 的公式，对碱基和通道维度取 Frobenius 范数的平方：

$$
C_{ij}=\sum_{a,k}J_{iajk}^{2}.
$$

随后对称化，并做 Average Product Correction（APC）：

$$
S_{ij}=\frac{C_{ij}+C_{ji}}{2},\qquad
M_{ij}=S_{ij}-\frac{\left(\sum_t S_{it}\right)\left(\sum_s S_{sj}\right)}{\sum_{s,t}S_{st}}.
$$

APC 用于扣除整体背景效应。最终的 $M$ 是一个 $L\times L$ 的耦合分数矩阵，分数高表示模型对这两个位置的关联更敏感。。

## 结构引导预训练确实改善了可读出的信号

### 数据与评价指标

- 从 NAKB 筛选单链、无蛋白质或小分子等其他组分的 RNA 结构，并进行清理。
- 主比较使用 **533 个结构–序列对**，长度 $L\leq512$。
- 参考接触由 **Barnaba 的碱基相互作用注释**构建，排除无法归类的 XXX 相互作用。
- 评分取矩阵上三角，并排除自身及序列相邻位置。

接触对通常比非接触对少，而且比例随序列长度变化，因此作者使用经过基线校正的 PR-AUC：

$$
\mathrm{AUC}_{\mathrm{adjusted}}=\frac{\mathrm{AUC}_{\mathrm{raw}}-p}{1-p},
$$

其中 $p$ 是参与评价的位置对中真实接触的比例。

**随机基线约为 0，完美预测为 1，也可能出现负值。** 这里不能把普通 PR-AUC 的随机基线也理解为 0。

### 结果

![StructRFM 与 RNA-FM 的接触预测比较](https://img.fupcode.com/images/landscape/webp/20260917_102125_3845.webp)

*原文 Fig. 4：散点横轴为 RNA-FM，纵轴为 StructRFM；多数点在对角线上方。右侧展示 hairpin 与 tRNA 的具体例子。*

- **部分短 RNA**：RNA-FM 几乎没有读出有效接触，StructRFM 能恢复茎区及 bulge 导致的配对偏移。
- **部分 tRNA**：两个模型都能读出接触，但 StructRFM 的背景更干净。
- **长 RNA 仍然困难**：结构引导没有解决所有问题，补充图 S5 中长度大于 100 的序列仍是两个模型的难点。

## 12 层 Transformer 都在学结构吗？

![各层 embedding 的接触分数及跳层后的 perplexity](https://img.fupcode.com/images/landscape/webp/20260917_102125_4834.webp)

*原文 Fig. 5：(a) 比较逐层接触分数; (b) 跳层后的序列恢复表现；(c) 展示 StructRFM 各层读出的 coupling map。*

作者做了两类实验：

1. **读取中间层**：对每层 embedding 分别运行 REDIAL，看结构信号在哪里出现。
2. **跳过部分层**：将保留下来的表示送入后续模块和原 LM-head，检查 perplexity 等指标。

这两个实验回答的问题不同：前者看结构耦合能否被读出，后者看被跳过的计算是否影响输出。

| 模型 | 逐层观察 | 作者的解释 |
| --- | --- | --- |
| StructRFM | 总体上前 10 层接触信号较弱，最后两层明显增强；部分 tRNA 更早出现信号 | 结构信息集中在后部 |
| RNA-FM | 前约 6 层获得主要接触信号，之后提升有限 | 后续层对结构耦合的贡献较少 |

### 更直接的证据：删除 StructRFM 前 6 层

![StructRFM 层消融及 RNA-FM 的逐层 logits](https://img.fupcode.com/images/landscape/webp/20260917_102125_2393.webp)

*原文 Fig. 6：(a) StructRFM保留 L7–L12 的模型与完整模型比较; (b) RNA-FM 在不同深度输出的 logits。*

StructRFM 仅保留 L7–L12 时，接触预测和序列恢复表现整体仍较接近完整模型，但并非完全无损。进一步缩到 5 层，接触预测能力明显下降。

RNA-FM 则呈现另一种现象：前几层已基本确定碱基身份，后面更多是在压低罕见或辅助 token 的概率，使输出分布更尖锐。作者据此提出，词表设计可能影响参数利用效率；这仍需要重新训练不同词表的模型来做因果验证。

**我的理解**

这些结果表现出了模型对于 REDIAL 这个任务的冗余，但要区分：

- REDIAL 读不出来，不代表该层完全没有有用信息。
- 删层后接触分数接近，不代表所有下游任务都不受影响。
- 参数冗余与过拟合不是同一个概念，后者还需要训练分布与独立测试分布之间的泛化证据。

## 思考启发

1. **提供了一种不借助下游任务，直接比较基础模型的方法**
2. **减小模型参数量的思路**：直接看各层的 coupling map 的变化

## 参考文献

1. Teng, D., Qiu, Y., Sakthivel, G., Aranganathan, A., Herron, L. & Tiwary, P. *Detecting and quantifying overparametrization in RNA language models with REDIAL*. bioRxiv，2026-05-12 版本。[DOI: 10.64898/2026.05.11.724344](https://doi.org/10.64898/2026.05.11.724344)。


---

> 作者: [fupcode](https://github.com/fupcode)  
> URL: https://fupcode.com/blog/posts/research-notes/paper-review-redial/