AI生成的视频为什么会一帧一跳？时序一致性问题的成因和工程解法

很多人对AI视频有个共同的观感：单独抽一帧出来看，画面精致得像摄影作品；可一旦连着播放，人物边缘会轻微抖动，背景纹理像水波一样泛，脸部光影忽明忽暗。业内把这个现象叫"闪烁"（flickering），学术点的说法是时序一致性不足。

它不是画质问题，分辨率再高也照样闪。这是一类结构性的缺陷，得从时序建模的角度去解决。下面按"现象—成因—度量—解法—落地"的顺序，把这套问题过一遍。

现象：帧内很好，帧间在跳

把闪烁拆开看，大概有三类表现。

纹理漂移。同一块墙面、同一件毛衣的纹路，相邻两帧的细节对不上，播放时像有噪点在爬。

形状抖动。人物轮廓、物体边缘在帧间发生细微位移，幅度不大但频率高，观感上就是"抖"。

亮度与色温跳变。整帧的明暗或色调在帧间来回摆，尤其在光照变化的片段里明显。

为什么会闪：三个层面的原因

成因之一，逐帧独立生成。如果采用"先生成一张图，再基于它生成下一帧"的方式，每一帧都经历了独立的采样过程。图像扩散模型在采样时带有随机性，同一提示词两次采样结果都不会完全相同。把这些带随机扰动的帧串起来，细微差异就被放大成了闪烁。

成因之二，模型缺乏显式的跨帧约束。图像模型的目标函数只约束单帧质量，它没有任何动力去保证"这一帧和上一帧保持一致"。除非训练数据或结构里显式引入时间维，否则一致性无从谈起。

成因之三，时间维信息在压缩中被削弱。前面聊过3D VAE的时间维下采样。如果时间压缩比过高，运动信息在编码阶段就丢了一部分，解码回来自然对不齐。这是架构层面的损耗，跟采样随机性叠加在一起，闪烁会更明显。

怎么量化：几个常用的评估指标

光靠肉眼说"看着有点抖"没法定位问题，得用指标。常用的有三类。

分布距离类。FVD（Fréchet Video Distance）把真实视频和生成视频都映射到特征空间，比较两组特征的均值与协方差：

FVD = ||μ_real - μ_gen||²
      + Tr(Σ_real + Σ_gen - 2·(Σ_real · Σ_gen)^0.5)

数值越低说明两组视频的分布越接近。它是评价视频生成质量的常用综合指标，但计算成本高，而且对帧数敏感。

帧间一致性类。用图像编码器分别提取相邻帧的特征，算余弦相似度，取平均。数值高说明帧与帧之间内容稳定。也可以用CLIP类模型算相邻帧的相似度。

光流一致性类。用光流模型估计相邻帧之间的运动场，再用这个运动场把前一帧"warp"到后一帧，比较变形结果和真实后一帧的差异（warping error）。差异大，说明帧间运动不连贯。

结构层面：给模型补上时间维建模

这是从结构上解决问题。让模型在处理每一帧时，能看到其他帧的信息。

比较直接的做法是三维卷积。把图像模型里的二维卷积核换成三维，卷积核在时间维上也滑动，模型自然就获得了跨帧感受野。代价是参数量和计算量都上涨。

另一条路是时序注意力。在空间注意力之外，增加一层只沿时间维做注意力的模块。伪代码大致是这样：

# 时序注意力：只在时间维做注意力
B, T, N, D = x.shape           # N 为空间 token 数
x = x.permute(0, 2, 1, 3)      # (B, N, T, D)

attn = (x @ x.transpose(-1, -2)) / (D ** 0.5)   # (B, N, T, T)
attn = attn.softmax(dim=-1)
x = (attn @ x).permute(0, 2, 1, 3)              # 还原

注意这里注意力的维度是T×T，也就是每个空间位置上的token，跟其他帧同一位置上的token互相关注。这比全时空注意力省算力，又能把帧间关系建起来，是视频模型里常见的折中。

噪声层面：从采样起点做文章

既然闪烁的一大来源是各帧采样噪声不同，那就从噪声入手。

一种做法是共享初始噪声。生成时让相邻帧使用同一张（或高度相关的）初始噪声图，而不是各自独立采样。这样各帧的随机起点一致，去噪后的结果会稳定很多。代价是画面多样性略降，运动幅度可能变小。

另一种是噪声调度上的设计。给不同帧安排有关联的噪声强度，让模型在去噪过程中始终有跨帧的参照。一些视频生成实现会把时间维的噪声模式设计成平滑过渡的形式，而不是逐帧独立随机。

运动先验：借现成图像模型的力量

还有一种性价比不错的思路：不动已经训练好的图像生成模型，而是在它旁边挂一个专门学运动的模块。

AnimateDiff是一个被广泛引用的方案。它的做法是冻结预训练的图像扩散模型，在它的网络里插入一组"运动模块"（motion module），只训练这部分参数，训练数据换成视频。运动模块负责把帧与帧之间的关系建模出来，图像模型原有的画质能力则原封不动保留。这样既省了从头训练视频模型的成本，又能复用图像模型的画面质量。

这类方案的限制也清楚：运动模块学会的是通用运动模式，遇到幅度很大、结构很复杂的运动，仍可能出现不连贯。它更适合人物微动、镜头缓推这类场景。

工程上的处理清单

后处理也能帮上忙。生成完成之后，做一次时域平滑（比如对相邻帧做加权混合），或者用视频插帧模型补出中间帧，能压掉一部分高频抖动。这类手段治标不治本，但工程上见效快，适合先顶着用。

难的地方其实在取舍

把上面这些方法摆在一起看，会发现一条隐藏的对立关系：一致性增强的手段，大多以牺牲运动幅度或画面多样性为代价。噪声共享得越充分，帧间越稳，动起来也越拘谨；时序约束加得越重，画面越连贯，但生成的动态感可能被压平。

所以实践里更常见的做法不是把某一项参数拉满，而是按场景分配权重。人物口播、产品展示这类以稳定为先的内容，一致性权重可以拉高；风景运动、镜头大幅调度这类以动态为先的内容，就得给运动留出空间。评估的时候两类指标一起看——FVD衡量整体质量，帧间相似度和光流误差衡量连贯程度，两个都盯住，才知道调参是往好里走还是走偏了。