0. 发展脉络

Miras是这三篇文章的起点（Miras->NL->MC）这三篇文章完整记录了作者这个团队从重构一个简单的 RNN 层，最终重构整个LLM模型处理超长文本的历程
本篇文章是理论基石，证明了无论是 Transformer 还是线性 RNN，本质上都是在测试阶段实时进行在线优化的关联记忆模块，也就是说，模型在推理时，其实内部正在不断地利用梯度下降等算法更新状态。

1.

本文将神经网络架构重新理解为一种 测试时学习（Test time learning） 的关联存储模块。推理阶段被视为一个动态的学习过程，模型在提取静态知识时，实时地存储并优化当前输入序列的关联映射。把序列模型内部的内存看作一个小型的神经网络，模型在阅读新文本时，利用内部优化器（如梯度下降）实时训练并更新这块内存。

2. 现有问题

作者想解决的问题是：在处理长文本时，现有的模型都有些问题

  • Transformer： 它在推理时把看过的所有词都存在缓存（K、V）里。文本越长，内存和计算量就是平方级上升，无法处理超长上下文。另外通过公式看出，计算输出至少需要 N × d 个操作符的复杂度。
  • 线性 RNN： 通过公式看出，它使用点积相似度，并用加法连接，把过去所有的上下文压缩到一个固定大小的 矩阵 或 向量 中。但因为容量有限，导致内存溢出，模型记不住长文本的细节，且提取复杂规律的能力很弱。
    • 基于 Hebbian rule 的线性 RNN 采用简单的加法更新，极易导致内存溢出和容量受限。
    • 基于 Delta rule 的线性 RNN 虽然通过替代机制缓解了溢出，但由于内存架构太浅，表达能力不足。
      作者具体地指出了现有模型的3点缺陷：
  1. 内部目标趋同： 几乎所有现有的主流模型在核心的注意力偏置使用点积相似度或 L2 损失。
  2. 遗忘门设计单一： 在管理过去记忆的 Retention Gate（保留门，作者提出的更正确的概念）机制上，现有模型要么没有，要么只依赖于传统的L2正则化。
  3. 内存架构较浅： 传统序列模型均属于浅层内存（只使用简单的向量 Vector 或矩阵 Matrix 架构）。新一代架构如 Titans、TTT-MLP 以及作者提出的模型则属于深层内存（使用多层感知机MLP作为架构主体）。
    Miras 解决了在不内存溢出的前提下，让模型拥有极强的大容量记忆和表达能力。

3. 解决问题的理论推理

为了解决这个问题，作者提出了两种视角：FTRL 和 学习-保留 视角
提出把序列模型内部压缩内存的过程，看作是一个小型的神经网络。过去的模型在测试时，参数是死板、固定不变的，只是把新输入的词存入一个矩阵。但作者认为，效率太低了。 在测试时学习的视角下，当模型阅读新文本时，它实际是在实时训练自己的小型内存网络。每读入一个新的词（K和V），模型就会利用内部的优化器进行一次梯度下降，更新一次内存参数。
这种机制让模型在推理阶段不再是静态的，而是一个动态适应、实时进化的系统。

4. 怎样实际解决这个问题（Miras框架的提出）

为了让这个想法能够真正落地，作者证明了各种各样的序列模型，本质上都是在推理阶段（Test-time）实时训练一个关联记忆网络。那么，只要在设计代码的时候把这个实时学习的系统写出来就可以了，其实 Miras 就是解决这件事的“方法论”。

Miras 认为，设计网络只需要根据需求，选择这4种工具的不同方法即可：

  1. 存储架构（Memory Architecture）： 定义记忆的容器。从 浅层矩阵 到 多层MLP，增强了处理复杂模式的能力。
  2. 注意力偏差/内部目标（Attentional Bias）： 决定模型倾向于记住什么。Miras将传统的损失函数定义为内部目标，指导存储权重的更新。
  3. 保留门（Retention Gate）： 控制新旧知识的平衡。
  4. 学习算法（Memory Learning Algorithm）： 决定更新路径（如 梯度下降、带动量的梯度下降、甚至牛顿法）。

5. 实操证明

基于 Miras 框架，作者循序渐进地讲了超越现有注意力偏差和保留门的具体设计过程，并实际设计了3种变体模型，用来针对不同优化目标。它们的核心差异在于内部目标函数不同。

  • Moneta 值无关存储，抗噪能力强： 在实际应用中，采用 p=3 的 Lp​ 范数偏置与 q=4 的 Lq​ 混合正则化保留门。实验证明其在包含合成噪声的数据中表现极佳。当 p=1 时，Moneta 成为一种值无关关联存储（Value-less associative memory），仅存储键的映射而不记录具体值，这模拟了人类在应对极端刺激时的过滤机制。
  • Yaad 鲁棒性好： 利用 Huber Loss 的掩码逻辑，当预测误差超过阈值时，模型从 L2​ 更新切换为 L1​ 更新，从而忽略离群值，使得鲁棒性强，减少差异极大的 Token 的干扰。
  • Memora 遗忘控制好： 采用 L2​ 偏置，但在保留门上使用了 KL 散度。。结合 KL 散度与 Elastic Net 正则化的概念，实现了软遗忘（平滑衰减）与硬遗忘（通过 Soft-thresholding 将不重要参数清零）的平衡。

6. 实验

实验证明了以下成果：

  1. 超越 BaseLine： 在语言建模和常识推理任务中，超越了 Transformer 以及目前最先进的线性 RNN（如 Mamba2, RetNet, DeltaNet 等）。
  2. 扩展性好： 当模型尺寸增加或上下文窗口从 2K 扩展至 32K 时，得益于深层 MLP 架构和更优的保留门设计，性能衰减小，扩展能力 Mamba2 强。
  3. 长文本信息检索： 在复杂的“大海捞针（Needle-In-Haystack）”任务中表现很好，验证了在大容量记忆上的效果。

7. 总结

总之，本文提出了 Miras ，一个解释在线优化和测试时记忆之间关联的通用框架。Miras框架可以解释文献中几种标准架构选择的作用，并帮助设计能够更好地管理记忆的下一代架构，方便地扩展出一系列的变体。