Sora原理深度解析:OpenAI Sora的工作原理全面解读

Sora原理深度解析:OpenAI Sora的工作原理全面解读

2月16日,OpenAI出人意料地推出了一款震撼业界的模型——Sora,这是一个能够实现文本到视频生成的创新工具。相比于现有的其他文本生成视频工具如Pika,Sora无疑展现出了超越次元的强大实力。

Sora的卓越之处在于,它能够根据文本描述生成长达60秒的连贯流畅视频,而其他工具往往只能生成短短几秒的片段。这一突破性的进展使得Sora在视频生成领域取得了显著领先。

精选文章

类别 教程
Claude 如何解决Claude账号被封,及Claude3使用方法
Claude3注册教程,解决Claude手机号验证问题
Anthropic官网提供Claude3注册及使用教程|以及如何预防封号
Sora 详细教程与使用指南助您轻松上手Sora
OpenAI Sora是什么?Sora到底能做什么?它与其他类似技术有什么区别
ChatGPT 国内升级GPT-Plus教程,订阅GTP4-0
国内无需手机验证码获取GPT账号教程
【2024亲测】保姆级获取美区Apple Id教程
Onlyfans Onlyfans-注册以及充值、订阅教程
【2024亲测】Onlyfans搜索博主?如何在OnlyFans搜索HongkongDoll
Midjourney 【一看就会】五分钟完成MidJourney订阅
WildCard WildCard虚拟信用卡注册保姆级教程
WildCard虚拟信用卡平台详解
其他 【新手小白教程】2024最新:如何轻松订阅Patreon及其支付、充值全攻略
【新手小白】如何订阅Youtube Premium?Youtube Premium购买教程(2024最新)

让我们一同欣赏官方展示的这段视频。视频中,无人机的视角穿梭于东京街头,捕捉着一对情侣的温馨瞬间,以及旁边盛开的美丽樱花。尽管视频开头的一小段可能略显生硬,但整体而言已经做得相当出色。相较于其他工具只能生成单一镜头的视频,Sora已经实现了多镜头的无缝衔接,这无疑是一个巨大的飞跃和领先。

Sora是如何做到的?

OpenAI团队深入探索了在视频数据上进行大规模训练的生成模型。具体而言,他们基于文本扩散模型,在时间、分辨率和纵横比各异的视频和图像上进行了创新性的尝试。为了实现这一目标,他们采用了一种独特的transformer架构,该架构能够在视频和图像的潜在代码的时空补丁上高效运行。正是在这样的技术背景下,Sora应运而生。

首先,让我们简要探讨一下AI生成图像的基本原理。这个过程首先将图片分割成众多小块,并为每个小块打上标签。接着,对图片进行加噪处理,从10%的噪点逐渐增加,直至图片完全被噪点覆盖。随后,将这些加噪后的图片用于训练模型,使其能够预测并还原出原始的“干净”图像。

视频生成的过程与此类似,但由于视频具有时间维度,因此需要进行更为复杂的降维处理。OpenAI团队成功地将这一技术应用于视频领域,为视频生成领域的发展带来了突破性的进展。

数据处理

OpenAI团队从大型语言模型(LLM)中汲取灵感,LLM模型通过运用特定的标记方法,成功统一了多种不同的文本模式,如代码、数学语言以及各种自然语言。同样地,Sora则采用了一种名为patches的高效且可扩展的方法,这种方法特别适用于在多种类型的视频和图片上训练生成模型。通过这种方式,Sora能够展现出卓越的性能,为用户带来前所未有的视频生成体验。

image-20240323021225152

在高维度处理中,OpenAI团队首先采用一种高效的压缩技术,将视频数据降低至低维度的latent空间。通过这种方式,视频被转换为时空嵌入,进一步被分解为多个patches。这一创新性的方法不仅提高了处理效率,还使得模型能够更好地理解和生成视频内容,为视频生成领域的发展注入了新的活力。

视频压缩网络

我们精心训练了一个网络,专门用于降低视觉数据的维度。简而言之,当传入一段视频时,该网络能够输出其经过时间和空间压缩的潜在表示。随后,Sora在这一基础上进行训练,以生成视频内容。此外,我们还训练了与该压缩器相对应的解码器,它能够将生成的低维度数据转换为我们所熟悉的视频格式。

这意味着,Sora生成的其实是低维度的数据,需要经过解码器的处理,才能呈现为我们期望的视频内容。这一流程确保了视频生成的准确性和效率,为用户带来了更加流畅和真实的视觉体验。

时空隐式patches

当接收到一个经过压缩的输入视频时,我们从中提取出一系列时空包,这些包随后被转化为转换token。这一方案之所以同样适用于图像,是因为图像本质上可以视作单帧的视频。通过采用这种基于包的表示方式,Sora得以跨越不同分辨率、持续时间和纵横比的视频和图像进行训练,展现出强大的通用性。在推理阶段,我们只需在指定大小的网格中安排随机初始化的包,即可轻松控制生成视频的大小和分辨率,为用户提供了更加灵活和便捷的操作体验。

用于视频生成的缩放转换

Sora是一款先进的扩散模型,它接收输入的噪声包以及条件性输入信息(如文本提示等),并通过训练,精准地预测出原始的“干净”包。值得一提的是,Sora不仅是一个基于扩散的转换器模型,而且已经在多个领域展现出了卓越的扩展性,包括语言建模、计算机视觉以及图像生成等。

image-20240323021245147

Sora有什么优势?

更丰富的持续时间、分辨率与纵横比

在以往,图像和视频生成方法往往受到固定标准的束缚,需要将视频调整大小、裁剪或修剪至统一的尺寸,如固定的4秒时长或256x256分辨率。然而,Sora的出现彻底打破了这一传统模式。它直接在原始大小的数据上进行训练,无需进行任何预处理或后处理,从而带来了诸多显著优势。这使得Sora能够生成更加丰富多样的视频内容,无论是在持续时间、分辨率还是纵横比上,都能展现出出色的灵活性和适应性。

更灵活的采样

Sora具备出色的灵活性和适应性,能够轻松应对各种视频格式。无论是横屏的1920x1080p视频、竖屏的1080x1920p视频,还是介于两者之间的任何分辨率,Sora都能进行高效采样。这一特性使得Sora能够直接为不同分辨率的设备创建内容,满足各种场景和需求,为用户带来更加便捷和个性化的视频生成体验。

改进的取景和构图

经过严格的实验验证,我们惊奇地发现,在视频的原始纵横比上进行训练,能够显著增强构图和框架的质量,从而大幅提升视频生成的品质。为了更直观地展示这一优势,我们将Sora与一个将所有训练视频裁剪为正方形的模型版本进行了对比实验。实验结果表明,那些在正方形裁剪上训练的模型,在生成视频时有时会出现主题仅部分显示的情况,这无疑影响了视频的观赏体验。相比之下,Sora则能够呈现出更加完美的帧,充分展示了其在视频生成领域的卓越性能和精准度。这一发现不仅证实了我们在训练策略上的正确性,也进一步凸显了Sora在视频生成领域的领先地位。

语言理解深化

Sora巧妙借鉴了DALL·E3中的re-captioning技术,首先训练出一个具备高度描述性的字幕器模型。随后,该模型被用于为训练集中的所有视频生成精准的文本字幕。此外,Sora还充分利用了GPT中的先进技术,将简短的提示词转化为更为复杂和详尽的提示词。这一举措使得Sora能够更准确地捕捉用户的意图,从而生成出高质量的视频内容,满足用户的个性化需求。

将DALL·E图片变成动画

Sora的强大功能还体现在其能够接收图像和提示作为输入,进而生成相应的视频内容。

接下来,我们将展示基于DALL·E 2和DALL·E 3的图像,这些图像将作为示例,充分展示Sora在视频生成方面的卓越能力。

20240220_223525_856_470

扩展生成的视频

Sora不仅具备出色的视频生成能力,还能够灵活地进行视频的前后扩展。以下三个视频便是从同一生成视频片段出发,逐步向后扩展的精彩示例,充分展示了Sora在视频处理方面的卓越性能和灵活性。

这充分展现了Sora在时间扩展方面的强大功能,进一步证明了其卓越的灵活性和适应性。

Sora的应用场景

OpenAI Sora作为一种基于文本提示生成视频的人工智能工具,具备广泛且多样的应用场景:

  1. 电影与视频制作:在电影和视频制作领域,Sora可发挥重要作用。它能快速生成概念预览,使导演和制片人在拍摄前便能直观地预览场景与故事情节。这不仅能降低制作成本,更能提高制作效率,确保影片的视觉效果达到预期。
  2. 广告创意:在广告行业,Sora同样具有广泛应用。广告商可借助其强大的生成能力,快速制作出高质量、吸引人的广告内容,从而提升广告的传播效果和市场竞争力。
  3. 游戏开发与设计:在游戏开发领域,Sora能够为开发者提供高效的视觉效果制作支持。无论是创建游戏预告片还是概念艺术,Sora都能为游戏增添更多趣味性和吸引力。
  4. 教育培训:在教育领域,Sora为教育培训提供了全新的可能性。通过生成生动有趣的视频内容,Sora能够帮助学生更好地理解和掌握知识,提高学习效果。
  5. 内容创作与社交分享:对于内容创作者和社交媒体影响者而言,Sora是他们创作高质量视频内容的得力助手。借助Sora,他们可以轻松制作出吸引人的视频,吸引更多观众关注和互动。
  6. 新闻与纪录片制作:在新闻和纪录片制作领域,Sora能够迅速生成新闻报道或纪录片中的视觉内容。特别是在模拟复杂事件或历史场景时,Sora能够提供逼真且生动的视觉呈现。
  7. 艺术创意与探索:艺术家和创意专业人士可以利用Sora进行艺术创新和探索。通过生成独特的视觉艺术作品,他们可以拓展自己的创作边界,为观众带来全新的视觉体验。
  8. 产品设计与建筑可视化:在产品设计和建筑领域,Sora能够生成产品原型或建筑项目的视觉呈现。这有助于设计师和客户更好地理解和评估设计概念,从而做出更明智的决策。

如何使用Sora

Sora目前确实处于未开放状态,仅供部分内测用户体验。

Sora目前暂未开放,只提供给部分内测用户使用,ChatGPT Plus会员有望在未来率先体验到这一技术。对于尚未开通ChatGPT Plus会员的用户,可以参考相关文章或官方指引进行开通,以便在Sora开放时能够第一时间体验到其强大的功能。

GPT-4.0 升级教程移步:五分钟开通GPT4.0

Sora官网入口:https://openai.com/sora


你好,我是火哥!

亲爱的读者你好,我是火哥,一个乐于分享技术类干货的博主。 最新原创的文章都先发布在公众号,欢迎关注哦~

扫描下方二维码,带你第一时间了解ChatGPT、Sora、Midjourney最新动态!

9475746462373236362612

Sora原理深度解析:OpenAI Sora的工作原理全面解读

https://7we.cn/how-sora-works/

作者

火哥研习社

发布于

2024-03-22

更新于

2024-03-29

许可协议