# trRNA2 (2026)：将 Secondary Structure 引入 Attention 并驱动 RNA 构象建模



trRosettaRNA2 利用二级结构 (SS) 做了两件很有意思的工作

1. 让SS加权于attention
2. 通过多 SS 条件输入实现 RNA 构象分布

## SS加权于attention

![ss](https://media.springernature.com/full/springer-static/image/art%3A10.1038%2Fs42256-026-01223-x/MediaObjects/42256_2026_1223_Fig1_HTML.png?as=webp)

trRosettaRNA2 除了将ss作为一层feature，还在 structure module 中引入 **SS-aware attention**，其核心是对 attention softmax 的重加权：

- 标准 attention
  $$
  a_{ij} = \frac{\exp\left(\frac{q_i k_j}{\sqrt{d}}\right)}{\sum_{l=1}^{L} \exp\left(\frac{q_i k_l}{\sqrt{d}}\right)}
  $$
  
- SS-aware attention
  $$
  a_{ij} = \frac{\left(\exp\left(\frac{p_{ij}}{T}\right) - 0.99\right)\exp\left(\frac{q_i k_j}{\sqrt{d}}\right)}{\sum_{l=1}^{L} \left(\exp\left(\frac{p_{il}}{T}\right) - 0.99\right)\exp\left(\frac{q_i k_l}{\sqrt{d}}\right)}
  $$
  

其中，

-  $p_{ij}$ 表示由二级结构预测模型给出的第 $i,j$ 个核苷酸形成碱基配对的概率

- $T$ 是 **SS temperature**，用于控制二级结构先验对 attention 的影响强度。
  - 当 $T$ 较小时，$$\exp(p_{ij}/T)$$ 对 $p_{ij}$ 更敏感，SS 对 attention 的影响更强；
  - 当 $T$ 较大时，权重差异变小，模型更多依赖自身学习到的几何和 pair 表征。
  - 在代码中，StructureModule 默认使用逐层递增的温度，在结构生成早期强烈注入二级结构约束，在后期逐渐放松。

**我的理解**

- 传统的方法是把ss作为pair representation的一层feature，这种方式也许学习效果不佳
- 加权attention从而让模型不容易忽略长程相互作用

## 多 SS → 构象分布

### 核心思路

RNA 往往具有显著的构象灵活性

trRosettaRNA2 的做法是：

- 构造多个 SS（来自不同预测器或模型）
- 对每个 SS 独立进行 3D 预测
- 聚合得到结构集合（ensemble）

### 实现细节

- 使用 **11 种不同 SS 来源**（如 trRNA2-SS、SPOT-RNA、RNAfold 等）
- 每个 SS 输入下：
  - 运行模型多个 recycling（4 次）
- 最终得到：
  - 共 44 个结构（11 SS × 4 次）

### 对比：AlphaFold3 的做法

作为对照，AlphaFold3 并不显式使用 SS 作为条件变量，而是：

- 固定输入（sequence + MSA）
- 通过 **不同随机种子（random seeds）** 进行多次推理
- 共生成约 100 个结构

### 结果

![multi-ss](https://media.springernature.com/full/springer-static/image/art%3A10.1038%2Fs42256-026-01223-x/MediaObjects/42256_2026_1223_Fig4_HTML.png?as=webp)

- trRosettaRNA2 能生成与实验接近的构象分布

- AlphaFold3 更接近单一结构预测器

## 参考文献
1. Wang, W., Peng, Z. & Yang, J. Predicting RNA 3D structure and conformers using a pre-trained secondary structure model and structure-aware attention. Nat Mach Intell (2026). https://doi.org/10.1038/s42256-026-01223-x

---

> 作者: [fupcode](https://github.com/fupcode)  
> URL: https://fupcode.com/blog/posts/research-notes/paper-review-trrna2/