ReplaySSM：混合模型解码中的状态缓存与精度分离

全文概览

混合模型使用状态空间模型（SSM）层配合注意力层。SSM 的递归状态大小固定，并发解码却仍要反复从显存读入、更新并写回这块状态。省下随上下文增长的 KV 缓存，并不会自动省下每一步的数据搬运。

NVIDIA 与 Princeton Dao AI Lab 的 ReplaySSM 技术文章把当前状态表示成一个检查点和近期输入记录。每个 token 仍产生输出，检查点隔一段时间才更新。这个拆分同时改变了访存、投机回滚和低精度状态的误差传播路径。

文章的结果支持大批量服务场景中的解码优化，批量为 1 时没有观察到加速。内核速度、整个解码步骤与请求响应时间分别衡量不同成本。相关论文 v1发表于 2026 年 10 月 9 日，技术文章的发布时间为 10 月 12 日 16:00 UTC，即北京时间 10 月 13 日零点。

图中红色箭头表示完整状态的显存读写，蓝色箭头表示追加输入记录。右侧虚线状态表示计算输出时无需每步保存完整中间矩阵。查看原图。

先看一个解码步骤为什么受访存限制，再沿缓冲区的生命周期理解回滚与精度分离，最后核对性能测试的批量、硬件和模型范围。

背景与约束

传统 SSM 解码先更新完整状态，再计算当前输出并保存状态，供下一步使用。大批量服务中，每条序列都要维护自己的状态，读写开销随并发请求累积。若这一部分受显存带宽限制，单纯增加算术能力很难降低延迟。

投机解码还需要处理被拒绝的草稿。注意力模型可调整 KV 缓存指针，递归状态则已经吸收了草稿输入。逐步保存完整状态快照会增加写入量和显存占用。低精度状态另有一条循环：量化后的状态又用于下一轮递推，舍入误差因此可能持续传入之后的计算。

检查点、缓冲区与精度副本

逐步输出，按窗口更新

ReplaySSM 缓存近期输入，把完整状态写回推迟到缓冲区填满时。普通步骤追加记录，并从检查点和记录计算输出。flush 步骤把记录合入检查点，然后清空缓冲区。

在长度为 L 的窗口里，传统方法需要 L 次完整状态读取和 L 次完整状态写入。新方法仍逐步读取检查点，完整检查点只写一次，额外保存的输入是较小的向量记录。原文所说的访存约减半指这部分占主导的状态流量，缓冲读写和 flush 计算仍有成本。

回滚只提交被接受的前缀

验证草稿时，输入先进入缓冲区。接受多少个 token，就把提交指针推进多少。未提交的记录在后续追加时覆盖。flush 只合并已经提交的记录。

这样验证阶段可以直接计算输出，减少完整中间状态的物化。需要保留的工程约束是接受长度、缓冲容量和检查点更新的一致性，调度顺序仍必须正确。

输出读取与递归更新使用不同精度

原文进一步区分高精度递归检查点和低精度读取副本。普通步骤用低精度副本计算输出，每次 flush 从高精度检查点递推，再分别生成两个精度版本。

低精度读取的舍入误差留在输出路径。下一轮状态更新使用高精度检查点，避免把读取副本的误差反复写入递归。这个设计减少累积误差，并不保证低精度输出与 FP32 完全相同。

证据与工程代价

作者在 vLLM 中评估四种混合模型，分别覆盖 Nemotron 3 的 Mamba-2 与 Qwen3.5 的 GDN。4B 模型使用单张 H100，约 120B 的模型使用单张 B300。性能对照使用 FP32 状态、窗口 L=16，基线为调优后的 vLLM 内核。

蓝色柱表示内核，橙色柱表示整体解码步骤，图例、模型精度、GPU 与 flush 成本均保留。查看原图。

批量 256 下，作者报告内核加速 1.46–1.80 倍，整体解码加速 1.20–1.47 倍。图中两组柱子的差距说明，减少 SSM 的状态搬运只能改善它所占的那部分耗时。原文在批量 1 的测试中没有观察到加速，不能用这张图预测单用户聊天延迟。

精度实验也有失败边界。原文表 2 中，Nemotron-3-Nano-4B 使用 NVFP4 读取副本、FP16 加随机舍入的递归检查点时，GPQA-Diamond 仍比 FP32 基线低 6.7 个百分点。精度分离改善了共享低精度状态的累积误差，任务准确率仍需单独测量。这些结果来自作者实验，本文没有运行复现。

局限与适用边界

收益依赖状态在总解码成本中所占的比例。小批量、不同层数或不同硬件上的瓶颈可能变化。窗口过小会频繁 flush，过大则增加缓冲区及输出计算的负担。原文四模型测试中选择的 16 不能直接当作所有模型的最优值。

多个精度版本还需要额外存储和转换。低精度配置应同时检查长序列的输出偏差与具体任务质量，不能只看 kernel 时间。相关代码仓库可以作为实现入口，生产集成还需核对正在使用的推理框架版本。

可验证的启发

下面是依据原文提出的工程验证建议。先固定模型、硬件、状态精度和输出长度，对小批量与服务批量分别记录 SSM 内核时间、整个解码步骤时间及峰值显存。只有总解码成本确实下降，才继续检查服务吞吐和响应延迟，避免把局部内核收益直接换成业务收益。

评估低精度状态时，保留 FP32 对照，并使用同一组长序列和任务样本检查输出偏差。若某个配置只降低耗时，却出现随长度增长的误差或明显任务退化，就回到精度与窗口设置排查。原文的检查点分离提供了一个具体控制变量。

参考资料

• NVIDIA 技术文章：ReplaySSM: Rethinking State Storage for Faster Hybrid-Model Decoding，2026 年 10 月 12 日，本文的主要阅读来源。

• ReplaySSM: Cache SSM Inputs, Not State，arXiv v1，2026 年 10 月 9 日，核对摘要、研究身份和预印本日期。

• Johnny-Liou/ReplaySSM 代码仓库，供进一步核对实现。本文没有运行代码。

两张原图用于机制解释和性能评论，保留原图内容、作者归属、图号与原始链接。