每日速看!视频生成模型的"修行之路"：当AI学会按人类的心意拍视频

2024年初，如果你问一个AI视频生成研究者最头疼的问题是什么，他大概会说：模型能生成一段很漂亮的视频，但它完全不听话。

你让它生成一只猫在草地上奔跑，它可能真的给你一只猫，草地也对，但那只猫走路的姿势诡异得像是骨头脱臼了，或者它突然在第三秒钟消失又在第五秒钟重新出现，仿佛被剪辑软件恶搞过。这不是个别案例，这是2024年之前几乎所有视频生成模型共有的毛病。

这篇发表在Transactions on Machine Learning Research上的综述论文，做了一件很多人想做但没做过的事：把过去几年里几百篇关于"如何让视频生成模型变得靠谱"的论文，梳理成一张清晰的地图。这篇论文的作者团队来自亚利桑那州立大学、Twitch、斯坦福等多家机构，他们统计发现，从2022年到2026年初，这个领域的相关研究呈现出近乎指数级的增长曲线，累计超过400项工作。

(相关资料图)

这篇文章就带你走一遍这张地图，看看研究者们到底想出了哪些办法，让AI生成的视频从"看起来还行"变成"真的听懂了你的意思"。

预训练给了AI"常识"，但没给它"分寸"

要理解这个领域在解决什么问题，得先搞懂一个基本区分。

现在主流的视频生成模型，骨架基本都是**扩散变换器（Diffusion Transformer，简称DiT）**：一种结合了扩散模型的"从噪声到图像"生成机制，和Transformer架构的强大建模能力的技术组合，目前几乎所有先进的视频生成系统都在用它。

这些模型在训练阶段，会被喂进海量的网络视频数据，学会"什么样的画面组合在一起是合理的"。这个阶段叫做预训练，目标是让模型学会一种广泛的、笼统的视觉常识。

但问题来了：网络视频数据里充满了抖动的手机拍摄、随意的构图、糟糕的运镜，模型从这些数据里学到的是"平均水平的网络视频长什么样"，而不是"精确符合人类指令、物理规律、审美偏好的视频长什么样"。

这就好像一个人在菜市场长大，耳濡目染学会了说话、做买卖、跟人打交道，但你突然让他去米其林餐厅当服务员，他可能连怎么优雅地倒红酒都不知道。他的"常识"没问题，但"分寸"不够。

论文把弥补这个分寸感的过程，统一称为**后训练（post-training）**：在大规模预训练完成之后，对模型进行的任何不需要从零开始重新训练、但能够调整模型行为的优化、适配或控制手段。

这个定义听起来有点绕，但核心就一句话：不推倒重建，只是精修。

隐性对齐和显性对齐：两种让AI"学规矩"的方式

论文里提出了一个很关键的区分，叫隐性对齐和显性对齐。

这个区分乍听起来有点抽象，但其实对应着两种完全不同的教育方式。

想象你在教一个孩子写字。第一种方法是给他看大量别人写的好字，让他模仿着写，写错了你直接纠正笔画。这是**隐性对齐**：通过提供结构化的示范数据（比如标准答案、教师的范例、可控的信号），间接地塑造模型的行为，整个过程中不会有一个明确的"打分"环节去判断某次生成到底好不好。

第二种方法是让孩子写好几个版本，你比较哪个更好看，告诉他"这个好，那个不好"，让他从对比中领悟规律。这是**显性对齐**：直接用评价性的信号（比如人类的偏好打分、奖励函数、可验证的标准）去衡量生成结果是否达标，再反过来调整模型。

如果只用第一种方法会怎样？孩子可能写得很规整，但缺乏灵气，因为他只是在模仿，没有真正理解"好看"的标准是什么。

如果只用第二种方法呢？孩子可能学会了"讨好评委"的技巧，比如故意写得工整但失去个性，因为评价标准本身可能有偏差，这就是后面会讲到的"奖励作弊"问题。

论文据此把整个后训练领域切成了四大门派：监督微调方法、自训练与蒸馏方法、偏好与奖励方法、推理时方法。前两种偏隐性对齐，第三种是显性对齐的主力，第四种则是两头都占一点。

第一招：监督微调，给AI一份"详细说明书"

监督微调是最直觉的一种做法：给模型看大量"输入指令对应生成什么视频"的配对数据，让它直接学会这个映射关系。

这一大类里，细分出好几种玩法。

第一种叫指令跟随微调，目标很简单：让模型更准确地理解你说的话。论文里提到一个经典案例叫Tune-A-Video，这个方法很有意思的地方在于，它只用一段视频就能完成训练（one-shot学习）。它的思路是，先用DDIM反演技术把这段视频"倒推"回噪声状态，获得一个结构引导信号，然后借助这个信号，让原本只会生成静态图片的扩散模型，学会怎么让画面动起来。

这就像你想教一个只会画静态画的画家画动画，不是让他从零学起，而是先给他看一段参考视频的"骨架动作"，他借着这个骨架，把自己原本擅长的静态画技能改造成动态能力。如果没有这个结构引导，画家可能画出一堆完全脱离原始布局的乱序画面，动作看起来毫无章法。

第二种叫领域适配，解决的是模型"水土不服"的问题。一个在通用网络视频上训练出来的模型，拿去生成医疗手术视频或者自动驾驶场景，往往会手足无措，因为这些专业场景的视觉分布和网络视频差太远。

论文里提到了一个叫Mission Balance的方法，专门针对医疗影像里"罕见病例样本太少"的问题，它把空间细节的学习和时间动态的学习拆成两个阶段分别训练，这样即便样本稀少，也能让生成的手术视频保持高保真度。

这里有个值得深挖的技术陷阱，叫**灾难性遗忘**：当模型针对某个狭窄领域进行微调时，虽然在这个领域上表现变好了，但它原本掌握的通用能力（比如理解各种各样的文本提示）反而退化了。

这个问题的本质，有点像一个本来精通各国料理的厨师，突然被派去专攻某一道菜，练了三个月之后，这道菜做得炉火纯青，但其他菜的手感反而生疏了。论文里提到的PYoCo方法针对这个问题给出了一个巧妙的修补方案，它发现问题根源出在"噪声先验"上，把原来独立于每一帧的图像噪声换成了带有时间相关性的视频噪声，从而缓解了微调过程中动作结构崩坏的问题。

第三种是多条件控制，这部分特别有实用价值，因为它让用户可以通过轨迹、姿态、摄像机路径等各种结构化信号，精确地操控视频里的运动和构图，而不只是靠一段文字描述去"猜"模型会怎么生成。

比如VideoComposer这个工作，它把压缩视频里的运动向量当成显式的时间控制信号，用一个统一的编码器把文本、空间、时间的条件信息融合在一起。这意味着你可以指定某个物体沿着特定路径移动，而不是任由模型随机发挥。

第四招是个性化与风格适配，专门解决"如何让生成的人物保持同一张脸、同一套衣服"这类身份一致性问题。这在做虚拟主播、虚拟试穿、定制角色动画时特别关键。论文提到的MagicMirror引入了一个双分支的面部特征提取器，专门把身份信息和动作信息解耦开，让模型即便在大幅度运动变化下，也不会把人脸"走形"。

第二招：自训练和蒸馏，让AI自己当自己的老师

第二大门派叫自训练和知识蒸馏，这个思路有点反直觉：既然标注好的高质量数据这么稀缺昂贵，那能不能让模型自己生成数据，自己教自己？

这里要讲清楚两个关键术语。

**自训练**：利用模型自己生成的输出、或者从一个更强大的教师模型那里拿到的指导信号，当作伪标签，反过来优化模型本身，整个过程不需要新增人工标注的真实数据。

**知识蒸馏**：让一个计算成本高、生成质量好但速度慢的大模型（教师），把自己的能力"传授"给一个更小、更快的模型（学生），目标通常是在保持生成质量的前提下，大幅提升推理速度。

论文里讲到一个很典型的蒸馏案例叫CausVid，它把一个双向的、需要几百步去噪的视频扩散模型，蒸馏成一个因果的、支持流式推理的自回归Transformer。这个转变背后的动机其实很实在：原来的扩散模型生成一段视频可能要跑上百步的去噪循环，太慢了，没法用在实时场景里。

这就好像把一个需要精心打磨、反复修改才能完成的油画创作流程，压缩成速写，牺牲一些细节换取速度，但关键是要保证速写出来的东西不会面目全非。CausVid的做法是用更强的"双向教师"去监督"因果学生"，减少学生在长时间自回归生成时的误差累积，如果没有这个监督机制，学生模型很可能越往后生成越跑偏，这正是自回归系统常见的"误差滚雪球"问题。

自训练这一块还有个有意思的细节，叫测试时训练（Test-Time Training），指的是模型在推理（也就是实际生成视频）的那一刻，还在动态调整自己的一小部分参数，而不是训练完就"定型"了。

论文提到的Zo3T方法，是在生成过程中实时优化一个轻量级的LoRA适配器（一种只调整模型一小部分参数的高效微调技巧），用一个"区域特征一致性损失"去约束生成结果，让它既能跟随用户指定的轨迹运动，又不至于偏离模型原本学到的视觉分布太远。

这就像一个老练的出租车司机，导航软件给了大致路线，但他会根据实时路况微调方向盘，不是完全依赖导航，也不是完全无视导航，而是在生成的那一刻动态修正。如果没有这种实时微调，车子可能严格按照导航走，结果撞上一个导航没标出来的临时施工路段。

第三招：偏好与奖励机制，让AI学会"什么叫更好"

这是整篇论文里信息量最密集、也最能体现"显性对齐"精髓的一块。

要讲清楚这部分，得先讲三个支撑这个领域的核心优化算法。

第一个叫**PPO（近端策略优化）**：一种强化学习算法，核心思路是先训练一个打分模型（奖励模型）去评估生成结果的好坏，再用这个打分去指导生成模型朝着更高分的方向优化，同时设置一个约束，防止模型为了拿高分而变得面目全非，偏离原本的生成能力太远。

第二个叫**DPO（直接偏好优化）**：跳过训练专门的打分模型这一步，直接拿一对"更好的视频"和"更差的视频"进行对比学习，让模型直接学会偏向生成更好的那一类结果。

第三个叫**GRPO（群体相对策略优化）**：既不依赖人工打分，也不依赖显式的偏好对比，而是让模型针对同一个指令生成一组视频，用一些可验证的客观标准（比如是否符合物理规律、动作是否连贯）给这组视频打分，再在组内做相对比较，取相对表现更好的那些去强化模型。

这三种方法听起来技术细节很绕，但背后的逻辑很朴素：PPO像请了一个专业评委，DPO像让两个候选人对比打擂台，GRPO像让一群候选人同场竞技再排名。

论文里举了一个让我印象很深的案例叫VideoDPO，它搞了一个叫OmniScore的多维度评分机制，同时评估视频的画面质量和文本语义的匹配程度，然后给生成的多个候选视频排名，构造出"赢家-输家"的训练对。更妙的是，它还根据分数差距的大小去调整这对样本在训练中的权重，分数差距越明显的对比，权重越大，这样训练信号会更清晰。

这里有个值得深挖的问题：很多偏好优化方法容易把模型往"保守"的方向带偏。

论文里提到一个现象，叫奖励对运动的系统性偏见。现有的很多奖励函数倾向于偏爱视觉清晰、时间上稳定的输出，这其实是在无形中鼓励模型生成保守、缺乏动态变化的视频，因为运动越少，出错的概率就越小。

这就像让一个学生去写一篇"不出错"的作文，他最安全的策略就是写得越平淡越好，少用生僻词，少写复杂句式，这样评分标准挑不出毛病，但文章也就失去了灵气。如果不解决这个问题，视频生成模型可能会越训练越"宅"，角色不敢大幅度运动，场景不敢剧烈变化，因为任何动态变化都有可能触发评分模型的扣分机制。

针对这个问题，论文提到有研究者开始引入**物理感知的奖励信号**：不只是看画面好不好看，还专门去检验生成的视频是否符合重力、碰撞、物体守恒这类基本物理规律的打分机制，这类工作像NewtonRewards，它从生成视频里提取光流作为速度的代理指标，用这些可验证的物理量去约束模型，而不是让模型单纯取悦一个泛泛而谈的"美感"打分器。

第四招：推理时方法，不改模型，只改"现场发挥"

这是四大门派里比较特殊的一支，核心特点是不需要重新训练模型的任何参数，而是在视频生成的那一刻（也就是推理阶段），通过外部信号去引导生成过程。

这里要讲一个贯穿这一部分的基础概念，叫**分类器自由引导（Classifier-Free Guidance，简称CFG）**：一种在扩散模型采样过程中广泛使用的技巧，通过对比"有条件生成"和"无条件生成"之间的差异，并放大这个差异，让生成结果更强烈地服从给定的条件（比如文本提示）。

这个技巧的本质，有点像你在做菜的时候，先尝一口没放调料的原味，再尝一口按菜谱放了调料的味道，然后故意把调料的味道再放大一点，让这道菜更鲜明地体现出"这是道什么味道的菜"的特征。如果不做这个放大处理，生成结果可能会更模糊，更接近"平均水平"，而不是精确贴合你给的提示词。

推理时方法里有个很直观的子类叫**引导式对齐**，通过在去噪轨迹上注入控制信号，直接引导生成走向。论文提到的ALG方法有个巧妙的设计：它在去噪过程的早期阶段，对条件图像做自适应的低通滤波处理，防止模型过早地"锁死"在静态的高频细节上，从而鼓励生成更丰富的动态变化。

另一个子类叫**迭代式自我修正**，这类方法通过反复的反馈循环去逐步修正中间生成状态，而不是一次性生成完就结束。论文提到的MotionAgent引入了一个"反思"步骤，在生成动作规划的中间阶段，先检验一下规划的动作是否合理，不合理就返工调整，而不是等错误累积到最后才发现问题。

这就好像写文章时先打一份大纲，写完第一部分先停下来检查逻辑是否通顺，发现问题立刻调整，而不是一口气写完全文再从头检查，否则一个早期的逻辑漏洞可能会一路拖累后面所有的内容。

四大门派如何协同作战

论文里有个很实用的观察：这四种方法在实际系统里从来不是孤立使用的，而是像流水线一样接力配合。

比如字节跳动的Seedance 1.0这个系统，就展示了一个完整的三段式组合：先用监督微调打好基础，再用带视频特定奖励指标的强化学习进一步精细调教，最后用多阶段蒸馏把模型压缩成可以快速部署的版本。这三步各管一段，监督微调负责"学会基本规矩"，强化学习负责"把规矩打磨得更细致"，蒸馏负责"让系统跑得更快"。

这个组合逻辑其实很好理解，有点像培养一个专业厨师：先在厨艺学校系统学习基础刀法火候（监督微调），再经过米其林餐厅的实战磨练，根据顾客反馈不断调整口味细节（强化学习/偏好优化），最后总结出一套标准化流程，让新来的厨师也能快速上手复刻（蒸馏）。如果省掉中间那一步直接上场，厨师可能基础扎实但不懂顾客真正想要什么。

数据集、评测体系和一个尚未解决的核心矛盾

论文花了相当大的篇幅讨论数据集和评测基准，这部分内容对普通读者来说可能略显枯燥，但背后藏着一个值得关注的矛盾。

评测视频生成模型，常用的基准叫**VBench**：一个覆盖多个维度（比如画面质量、时间一致性、动态程度、物体一致性）的综合性视频生成评测套件，目前是这个领域最广泛使用的"标准答案"。

但论文里一针见血地指出了一个问题：这些维度之间经常互相打架。

比如论文提到的实验数据显示，某些模型在"时间平滑度"这个指标上得分很高，但"动态程度"得分却很低，这意味着视频确实很稳定，但也意味着这个视频几乎没什么动作，稳定到像一张会呼吸的照片。

这揭示出一个深层的矛盾：追求稳定性和追求表现力，本身就是一组互相拉扯的目标。

如果一个模型为了拿到高分，拼命压制运动幅度，那它确实能在"稳定性"这个维度上拿高分，但从观众体验的角度看，这种视频可能会显得呆板、缺乏生命力。反过来，如果模型放开手脚追求丰富的动态表现，又容易出现肢体扭曲、物体穿模之类的物理错误。

这就跟评价一个舞者一样，如果只看"是否摔倒"这一个维度，那最安全的策略是站着不动，零失误，但这样的舞蹈毫无观赏价值。真正优秀的舞者，是在敢于做高难度动作的同时，还能保持优雅和稳定，这两者的平衡恰恰是最难的部分。

论文因此提出，像VideoPhy这类专门针对物理合理性的垂直评测基准正在兴起，它把"语义是否符合提示词"和"物理是否合理"这两个维度分开打分，这样可以揪出那种"画面看起来对，但物理上违反常识"的隐藏问题，比如一个球明明应该往下掉却悬浮在半空。

安全与深度伪造：一个被低估的方向

论文的最后部分谈到了一个经常被技术讨论忽视的角落，视频生成的安全问题。

这不只是"模型会不会生成色情或暴力内容"这么简单。随着视频生成能力越来越逼真，深度伪造（deepfake）的风险也随之上升。论文提到的一些工作开始尝试在视频生成过程中嵌入**数字水印**：一种不破坏视觉质量、但能够追踪视频来源的隐藏标记，通过把追踪密钥直接嵌入扩散模型的噪声空间里，实现既不影响画质又能溯源的效果。

另外还有一类工作在尝试让AI系统具备解释能力，不只是判断"这段视频是不是AI生成的"，还要说出"为什么我觉得它是AI生成的"，比如指出画面里哪个局部区域、哪个时间段出现了明显的时空缺陷，并给出自然语言的解释理由。这种可解释性设计，未来有可能反过来用作训练信号，去指导生成模型本身的安全对齐。

论文坦率地承认，目前这个方向上专门针对视频生成模型的后训练安全研究还非常稀少，大部分安全相关的工作其实是在做检测，而不是在训练阶段主动引导模型生成更安全的内容。

写在后面

读完这篇综述，印象最深的其实不是任何一个具体的技术细节，而是那张研究趋势增长曲线。从2022年几乎为零，到2026年初累积超过400项工作，这个增长速度说明一件事：视频生成领域正在经历一次从"能不能生成"到"生成得好不好"的集体转向。

一个特别值得玩味的细节是，论文反复强调"对齐在视频生成里存在一个光谱，而不是一个二元对立"。这句话打破了我原本以为的一个简单认知，我原以为对齐方法无非是"训练时调"和"推理时调"两种，但论文的分类方式其实揭示了一个更细腻的事实：同一类方法（比如推理时引导）既可以是隐性对齐，也可以是显性对齐，关键取决于它背后依赖的信号是不是经过明确的"好坏评判"。这种划分方式比我之前理解的要精细得多。

另一个让我反复琢磨的地方是奖励作弊这个现象。当一个系统被训练去优化某个代理指标，它找到的捷径往往不是你期望的那条路，而是指标本身的漏洞。这件事其实在很多领域都见过类似的影子，比如学校用考试分数衡量学习效果，结果催生了应试技巧而不是真正的理解。视频生成模型的奖励机制如果设计得不够细致，模型学会的可能是"怎么让奖励模型满意"，而不是"怎么生成真正好的视频"。这种结构性的风险，恐怕不只存在于视频生成领域。

论文里反复出现的一个词叫"权衡"。身份一致性和动作多样性要权衡，稳定性和表现力要权衡，训练效率和生成质量要权衡。这种权衡感让我意识到，视频生成这件事远比想象中复杂，它不是一个单纯的"让AI变得更聪明"的问题，而是一个需要在多个相互制约的目标之间不断寻找平衡点的持续过程。

当你下次看到一段AI生成的视频，画面流畅得让你分不清真假的时候，背后可能是四大门派里某几个方法叠加博弈出来的结果，而这场博弈，显然还远没有结束。

Q&A

Q1：视频生成模型里的后训练具体指什么？

A：后训练指的是在大规模预训练完成之后，对模型进行的任何优化、适配或控制手段，目的是在不从零开始重新训练的前提下调整模型行为，让生成结果更符合人类意图、物理规律和安全要求。

Q2：隐性对齐和显性对齐有什么区别？

A：隐性对齐通过示范数据、生成样本或结构化控制信号间接塑造模型行为，不涉及明确的好坏评判；显性对齐直接用偏好打分、奖励函数等评价性信号去衡量生成结果是否达标，再反过来优化模型。

Q3：为什么视频生成模型容易生成动作很少的"静态视频"？

A：因为很多奖励机制偏爱画面清晰、时间稳定的结果，运动越少出错概率越低，模型在优化过程中容易学会用减少动态变化来讨好评分标准，这是论文提到的奖励设计的系统性偏差问题。

标签： 算法 信号 拍视频 视频生成 旗舰基座模型