全球顶尖的文生短视频大模型Sora的高质量全中文版技术报告，深度解读，还可下载SoraAI生成的高清原版视频

我们从大型语言模型中获得灵感，这些模型通过互联网大规模数据的训练来获得通用能力。参考文献13、14LLM范式的成功部分归功于令牌的使用，这些令牌优雅地统一了文本代码、数学和各种自然语言的不同模式。在这项工作中，我们考虑视觉数据的生成模型如何继承这些优点。LLM有文本标记，而Sora有视觉碎片。目前，碎片已被证明是视觉数据模型的有效表示。参考文献15,16,17、18中我们发现碎片是一种高度可扩展且有效的表示形式，可用于在不同类型的视频和图像上训练生成模型。

在较高的层次上，我们首先将视频压缩到较低维的隐性空间，将视频转换为碎片，（参考19）然后将描述分解为时空碎片。

Sora是一个扩散模型参考文献21、22、23、24、25;给定输入杂乱碎片（以及文本提示等调节信息），它被训练来预测原始的“干净”碎片。重要的是，Sora是一个扩散变压器。参考文献26Transformer在各个领域都表现出了卓越的扩展特性，包括语言建模、13、14计算机视觉，15,16,17、18和图像生成。27、28,29

在这项工作中，我们发现扩散转化器也可以有效地缩放为视频模型。下面，我们展示了训练过程中具有固定种子和输入的视频样本的比较。随着训练计算的增加，样本质量显着提高。

过去的图像和视频生成方法通常会将视频调整大小、裁剪或修剪为标准尺寸，例如，分辨率为256x256的4秒视频。我们发现，对原始大小的数据进行训练有几个好处。

Sora可以采样分辨率为1920x1080p视频、垂直1080x1920视频以及介于两者之间的所有视频。这使得Sora可以直接以其原生宽高比为不同设备创建内容。它还使我们能够在以全分辨率生成之前快速以较低尺寸制作原型内容-所有这些都使用相同的模型。

我们根据经验发现，以原始长宽比对视频进行训练可以改善构图和取景。我们将Sora与将所有训练视频裁剪为正方形的模型版本进行比较，这是训练生成模型时的常见做法。在方形作物（右）上训练的模型有时会生成仅部分可见主体的视频。相比之下，Sora（左）的视频的取景效果有所改善。

训练文本到视频生成系统需要大量带有相应文本字幕的视频。我们应用了DALL·E3中引入的重制字幕技术（参考文献30）到视频。我们首先训练一个高度描述性的字幕生成器模型，然后使用它为训练集中的所有视频生成文本字幕。我们发现，对高度描述性视频字幕进行训练可以提高文本保真度以及视频的整体质量。

与DALL·E3类似，我们还利用GPT将简短的用户提示转换为较长的详细字幕，然后发送到视频模型。这使得Sora能够生成准确遵循用户提示的高质量视频。

如下面的108个不同肤色、不同场景的视频：

我们可以使用此方法向前和向后扩展视频以产生无缝的无限循环。

我们发现，视频模型在大规模训练时表现出许多有趣的新兴功能。这些功能使Sora能够模拟现实世界中人、动物和环境的某些方面。这些属性的出现对3D、物体等没有任何明确的归纳偏差——它们纯粹是尺度现象。

3D一致性。Sora可以生成带有动态摄像机运动的视频。随着摄像机的移动和旋转，人和场景元素在三维空间中一致移动。

这些功能表明，视频模型的持续扩展是开发物理和数字世界以及生活在其中的物体、动物和人的高性能模拟器的一条有前途的道路。

轻抖云作为国内最早的一批AI入局者，凭借其丰厚的互联网从业经验，于2023年5月推出轻抖云AI开放平台，该AI平台可链接OpenAI、阿里通义、百度文心、华为盘古、腾讯混元等当下最流行的AI模型，他可以完成所有场景的虚拟对话，包括但不限于跟你聊天，帮你写论文，写代码，充当人工客服、虚拟数字人直播等。轻抖云的愿景就是打造一个中国最惠民的AI生态系统2.0