被称作AGI里程碑的Sora运用了哪些技术？

新年初始，OpenAI发布了自己的“文生视频”Sora大模型，该大模型可以根据文本提示生成“逼真”和“富有想象力”的短视频，时长可达到一分钟，还可以在单个生成视频中创建多个镜头，准确保留角色和视觉风格。虽然 Sora 尚未向公众开放，但迄今为止发布的多个高质量样本已经引起了全球的热烈讨论，许多人惊呼“好莱坞时代结束”。

2022年底，我们目睹了ChatGPT横空出世，见证其如何瞬间引爆人工智能生成的全球热潮；2023年，国内外无数科技公司陆续推出自己的AI大模型，Meta发布LLaMA，百度发布文心一言、讯飞发布讯飞星火、阿里云推出通义千问；AI音乐、AI绘画、AI做题、文生文、文生图不断增加我们对人工智能生成内容的认知。

2024年开年，OpenAI发布了其文生视频大模型Sora，它能够通过快速文本生成60s的流畅视频，可以说是直接“碾压”了行业目前平均10秒内的视频生成长度。根据OpenAI官方发布的技术报告我们大概能了解Sora是如何引爆科技圈的。

大语言模型通过token将各种形式的文本代码、数学和自然语言统一起来，而Sora则通过视觉包（patchs）实现了类似的效果。我们发现，对于不同类型的视频和图像，包是一种高度可扩展且有效的表示形式，可用于在不同类型的视频和图像上训练生成模型。

我们训练一个降低视觉数据维度的网络。

当给定一个压缩后的输入视频时，我们会从中提取出一系列的时空包，这些包被用作转换token。

Sora是一个扩散模型，接收输入噪声包（以及文本提示等信息），然后被训练来预测原始的“干净”包。

不断训练以提升样本质量

Sora 可以采样宽屏 1920x1080p视频、垂直1080x1920视频以及介于两者之间的所有视频。

我们的实验结果显示，在视频的原始纵横比上进行训练，能够显著提升构图和框架的质量。

为了训练文本转视频生成系统，需要大量带有相应文本字幕的视频。为此，我们借鉴了DALL·E3中的re-captioning技术，并应用于视频领域。

Sora 也可以通过其他类型的输入进行提示，如预先存在的图像或视频。

Sora还能在提供图像和提示作为输入的情况下生成视频。

Sora 还能够在时间上向前或向后扩展视频。

OpenAI技术报告原文：

https://openai.com/research/video-generation-models-as-world-simulators

而同样是文生视频的软甲Pika创始人郭文景在被问到Sora时回应称，“我们觉得这是一个很振奋人心的消息，我们已经在筹备直接冲，将直接对标Sora。”

与此同时AI语音克隆初创公司ElevenLabs给Sora生成了视频配音，ElevenLabs的研究员 Flavio Schneider在X上发布了自己生成的 Sora 视频的配音版，听起来也很燃。

无论是一众技术人员的评价还是随着Sora的火爆，国内外出现的文生视频热潮，可以知道的是随着技术的不断进步和创新，拥有巨大潜力的视频模型将持续扩展。而生成视频技术使用门槛将逐步降低，帮助人们完成大量工程化的工作。未来，可以媲美好莱坞水准的视频解决方案或许会出现。

为了进一步探索AI大模型深远影响与广泛应用，2024年中国国际信息通信展同期ICT中国·高层论坛将举办AI大模型相关论坛，通过深度主题演讲、ICT案例分享等环节，与会者交流大模型如何赋能各行各业，加速行业更迭和创新。2024年9月25-27日，北京·国家会议中心，等你来！

图片、资料来源：OpenAI官网、X、机器之心、腾讯新闻

联系我们

关于展位预定、演讲嘉宾申请及广告赞助事宜，欢迎咨询：

张晨曦：

联系方式：010-66417516

邮箱：zhangchenxi-zl@ptac.com.cn

关于媒体及商务合作事宜，欢迎咨询：

李晓丹：

联系方式：010-66426181

邮箱：lixiaodan@ptac.com.cn

关于观展事宜，欢迎咨询：

崔彩玉：

联系方式：010-66426831

邮箱：cuicaiyu@ptac.com.cn