这项由香港大学、京东探索研究院、清华大学、北京大学和浙江大学联合完成的研究以技术报告形式发布于2026年4月论文编号为arXiv:2604.25427有兴趣深入了解的读者可通过该编号查询完整原文。你有没有试过用AI视频生成工具结果出来的东西跟你描述的完全对不上号或者生成的人物手指长得奇奇怪怪画面前后一会儿是白天一会儿是黑夜整个视频看起来像是拼凑出来的这不是你的问题这是现在几乎所有视频生成AI都面临的老大难困境。来自香港大学和京东探索研究院等机构的研究团队决定系统性地解决这个问题。他们把这套解决方案称为视频生成后训练框架简单来说就是给已经学会生成视频的AI再上一套专门让它生成好视频的课程。**预训练的AI就像刚毕业的新员工**要理解这项研究的价值先得明白一个道理AI生成视频分两个大阶段。第一阶段叫预训练模型会看海量的视频和文字学会视频长什么样这件事有点像一个大学生花四年时间读了很多书、看了很多案例。第二阶段叫后训练针对真实工作环境里的具体问题做调整就像这个大学生入职以后要经历试用期培训、导师辅导、项目历练才能真正上手干活。当前大多数视频AI只完成了第一阶段就直接上岗了结果暴露出三个典型问题第一对用户输入的描述极其敏感你换个词、换个语序生成结果可能天差地别第二视频在时间上不连贯同一个物体前后帧之间会莫名其妙地变形、消失或者抖动第三计算成本极高生成一段视频要等很长时间根本不适合大规模商用。这个研究团队设计了一套完整的后训练课程把整个流程分成四个递进的阶段每个阶段各司其职合力解决上面三个问题。一、打地基先用优质数据让AI学会好好说话整个课程的第一步叫做监督微调英文缩写是SFT。这一步的核心目标不是让AI变得多厉害而是让它变得靠谱。用一个更直观的类比来理解假设你要训练一个厨师助手机器人。它可能已经看过几百万道菜的食谱理论知识满分但实际操作起来可能会把盐和糖搞混或者炒一半突然不动了。这时候你要做的第一件事不是立刻让它挑战米其林菜单而是让它先把最基本的操作做对——正确识别调料、按顺序完成步骤、不出安全事故。研究团队在这一阶段做的就是用一批精心筛选的高质量视频-文字配对数据专门针对AI最频繁出现的严重错误进行纠正。这些错误包括完全拒绝执行某些指令就像厨师助手突然罢工、生成逻辑混乱的内容就像做菜做到一半开始往锅里倒洗洁精、以及产出不安全的内容。经过这一步AI就从一个能力强但行为不稳定的状态变成了一个听话、稳定、有基本判断力的状态。这个稳定的状态非常重要因为它是后续所有进阶训练的基础。如果跳过这一步直接做后面更复杂的优化AI可能在优化过程中跑偏出现各种奇怪的退化现象。研究团队特别强调这一步还有一个额外好处就是让AI在尝试不同生成策略时有更大的探索空间为后续训练提供更好的素材。二、用奖惩机制做精细打磨让AI追求真正的好看AI学会了基本操作之后下一步是教它追求更高的标准。这一阶段叫做基于人类反馈的强化学习缩写是RLHF用的具体方法叫GRPO。用奖惩机制训练AI这件事可以用驯犬来类比。狗学会了坐下这个基本指令之后你想让它学会更复杂的行为就需要用零食奖励它做对的用平淡的态度回应它做错的。不同的是AI的零食是由一批专门的评分系统给出的分数。这个研究里团队构建了四个专门的评分系统分别负责评估不同维度的质量。第一个负责评估整体视频美学包括光影、色彩搭配、构图是否好看、前后帧是否像一部电影。第二个负责评估单帧图像质量也就是截出任意一帧看清晰度和精致度是否过关。第三个负责评估运动质量物体的移动是否自然流畅有没有抖动、跳帧、突然变形之类的问题。第四个负责评估语义一致性也就是生成的视频内容和用户描述的文字是否对得上。然而同时让这四个评委打分、然后综合他们的意见来决定是否奖励AI远比听起来复杂。因为这四个维度有时候会互相冲突。比如追求视觉上特别华丽可能会让画面变得夸张不自然反而和用户的文字描述对不上而追求文字对齐有时候生成的画面又会显得平淡呆板。研究团队花了大量精力设计评分的合并策略和各维度的权重比例确保最终的优化方向是整体最好而不是某一项特别极端。在具体的技术实现上团队面对的是视频生成特有的挑战生成一段视频需要多个连续的计算步骤而奖励只在最后一步给出。这就像是厨师花了两小时做了一道菜结果评委只在最后品尝一口的时候才给分。如何把这一口的感受反推回去指导每一步的烹饪操作是个技术难题。研究团队采用了一种叫同步时间步分组的策略来解决这个问题。简单说就是把生成过程中的不同时间节点分给不同的训练批次每次只在特定节点引入随机探索技术上叫SDE采样其余时间保持确定性操作ODE采样。这样一来每次计算的成本降低了但AI依然能够通过随机探索发现更好的生成策略。团队还引入了时序梯度校正机制用一个数学公式对不同时间步的学习信号强度进行标准化避免某些时间步的影响过大或过小。经过这一阶段的训练之后在实际评测中视频整体质量的人工评分提升了31%。视觉质量和运动流畅度的提升最为显著文字语义对齐方面的提升则相对有限——研究团队坦承这主要是因为目前文字-视频对齐的评分系统本身还不够准确限制了这方面的优化效果。三、从源头入手训练一个专门帮你描述的助手前两个阶段解决的是AI生成视频的质量问题但还有一个问题没有解决用户给出的描述往往太简单、太模糊。如果用户只输入一只猫在玩耍AI能做的最多就是生成一只在玩耍的猫但光影、场景、风格、动作细节全靠AI自己猜。这一阶段的解法是训练一个专门的提示词增强语言模型充当用户和视频AI之间的翻译官。用户输入简单描述这个翻译官把它扩充、润色、补充细节然后再交给视频AI处理。这个翻译官的训练方式和第二阶段的视频AI训练异曲同工——同样用奖惩机制只不过被训练的对象从视频AI变成了语言模型奖励目标也略有调整。这里的评分系统有三个维度生成的视频和原始用户描述的语义是否依然吻合防止翻译官乱加内容把一只猫变成一条狗视频整体视觉质量是否更好以及增强后的描述格式是否规范、长度是否合适、AI能否正常解析执行。这个方案的一个重要优点在于训练翻译官的时候视频生成AI本身是被冻结的、不参与训练。这意味着训练成本大大降低而且同一套翻译官可以给不同的视频AI使用灵活性很高。实测效果显示加入提示词增强之后视频整体人工评分在已有31%提升的基础上又额外提升了20%。提升的主要来源依然是视觉质量和运动质量而语义对齐基本保持稳定——说明翻译官在帮用户把描述说得更丰富的同时没有偏离用户的原始意图。四、提速让慢吞吞的好视频变得快起来经过前三个阶段AI生成的视频质量已经大幅提升。但还有一个现实问题没解决视频生成太慢了。当前主流的视频AI使用的是双向注意力机制简单理解就是生成第10秒的内容时它需要同时参考第1秒到最后一秒的所有信息。这就像写一篇文章每写一个字都要把整篇文章从头到尾看一遍效率极低。更高效的方案是自回归架构也就是像说话一样只看已经说过的内容依次往后生成。这样可以边生成边播放大幅降低等待时间。但问题在于直接训练一个自回归视频模型很容易出现误差积累问题——生成第二帧时用第一帧的内容生成第三帧时用前两帧一旦某一帧出了点小错这个错误会被一直带下去越来越大到最后视频完全崩掉。研究团队用了一套三步走的蒸馏方案来解决这个问题。第一步先用一种叫分布匹配蒸馏的技术把原来那个慢但质量高的双向模型压缩成一个步骤更少的双向学生模型保留它高质量生成的能力同时减少计算量。第二步给这个学生模型装上时间遮挡机制让它学会只看过去的帧来预测未来的帧完成从双向到单向的架构转换。这一步直接上手训练很容易崩所以团队设计了一套专门的初始化策略来稳住训练过程。第三步用自强迫蒸馏方法做最终打磨——在训练时让AI真正模拟上线后的工作状态生成每一帧时只依赖自己之前真实生成的内容而不是标准答案里的完美数据。通过这种方式AI学会了如何在真实误差存在的情况下依然生成好内容而不是在理想条件下表现好、一到真实场景就垮掉。这套方案还考虑到了音视频同步生成的场景专门设计了非对称的时间对齐机制和音频处理方式确保音画同步不错位。**从评分系统到评测协议研究的诚实之处**整个研究体系中评分系统的构建本身就是一项重要工作。研究团队参考了HPSv3的训练范式用Qwen3.5视觉语言模型作为特征提取骨干配合一个多层感知机输出最终分数并引入了不确定性感知排序损失来提升评分的可靠性。他们为此收集了涵盖视频美学、文字-视频对齐、图像美学、文字-图像对齐四个维度的标注数据。在人工评测方面团队采用了好-持平-差三类比较协议而没有强迫评测人员在每对视频中必须选出一个更好的。这种设计很实用因为很多时候两段视频真的差不多强迫选择只会引入噪声。评测维度覆盖了视觉质量、运动质量和文字对齐三个方面。研究团队在结论中也坦诚地指出了当前框架的局限文字对齐方面的提升效果相对有限根本原因在于现有的文字-视频对齐评分系统准确性还不够高导致这个维度的奖励信号本身就不可靠。他们明确把开发更准确的文字对齐评分系统列为未来工作的重点方向。**这对普通人意味着什么**说到底这项研究做的事情是把一个能用但不好用的视频AI系统性地改造成一个好用、快用、还能对得上你想要的效果的工具。四个阶段各自解决一类问题第一阶段保稳定第二阶段提质量第三阶段解决用户描述能力不足的问题第四阶段解决速度瓶颈。对于普通用户来说这意味着未来用AI生成视频时不再需要绞尽脑汁想怎么描述才能得到想要的结果不再需要对着诡异的手指或者跳帧的画面抓狂也不再需要等待漫长的生成时间。对于企业来说这套框架提供了一个可复用的后训练蓝图可以应用于不同的基础视频模型降低了把实验室模型转化为产品的门槛。研究团队本身也承认这不是终点。提示词增强只优化了输入端视频AI只优化了输出端而两者之间的深度协同、以及如何在更长视频、更复杂场景下保持稳定都还有很多工作要做。但作为一套系统化的工程实践总结这项研究为整个行业提供了一个难得的完整参考。有兴趣进一步了解技术细节的读者可以通过arXiv编号2604.25427查阅原始论文。QAQ1视频生成AI的后训练框架和预训练有什么区别A预训练阶段AI通过看海量视频和文字学会视频长什么样相当于大学四年学理论。后训练框架则是针对实际部署中的具体问题做调整比如纠正生成错误、提升画面质量、加快生成速度相当于入职后的实战培训。这篇论文设计的四阶段后训练框架核心目标就是弥补预训练模型和真实用户需求之间的落差。Q2GRPO奖惩机制训练视频AI时奖励分数是怎么给出来的A研究团队构建了四个专门的评分系统视频整体美学评分系统、单帧图像质量评分系统、运动流畅度评分系统以及文字-视频语义一致性评分系统。这四个系统综合给出奖励分数引导AI朝着视觉质量和文字对齐同时提升的方向优化但四者的权重需要精心调配防止某一项过度主导优化方向。Q3提示词增强模型为什么不会把用户的原始意思改掉A提示词增强模型在训练时设置了专门的文字-视频对齐奖励维度确保增强后的描述和用户原始输入在语义上保持一致。如果翻译官把一只猫在玩耍改成了完全不相关的内容这个奖励分数就会很低模型就不会学习这种做法。实测数据也显示加入提示词增强后文字对齐的评分基本维持稳定没有因为扩充描述而跑偏。