网页挤崩溃,OpenAI视频生成大模型Sora终于正式登场|界面新闻 · 科技

网页挤崩溃,OpenAI视频生成大模型Sora终于正式登场|界面新闻 · 科技

傅婉月 2024-12-11 清新迷人 3 次浏览 0个评论

界面新闻记者 | 李如嘉

界面新闻编辑 | 文姝琪

在OpenAI的“12 Days of Christmas ”12天连更计划的第3天,视频生成大模型Sora终于正式登场 。

网页挤崩溃,OpenAI视频生成大模型Sora终于正式登场|界面新闻 · 科技

今年2月16日,OpenAI首次向外界展示了Sora的存在。据其介绍 ,Sora可以直接输出长达60秒的视频,并且包含高度细致的背景、复杂的多角度镜头,以及富有情感的多个角色。OpenAI在官网上公布了数十个视频demo ,并不断在社交平台X上放出由Sora生成的视频 。这些内容被集合推送至OpenAI的TikTok账号上,短短5天内便获得了51.3万次赞,粉丝数也涨至10.6万。

尽管“多模态模型”并不新鲜 ,文本到视频的模型也此前已存在 ,但从OpenAI公布的视频中可以看到,Sora可以生成的视频长度和准确性完全颠覆了市场上现有产品的表现,堪称史上最强文生视频产品。

Sora不仅为OpenAI带来了大量粉丝 ,也让其估值进一步提升 。不过,当时这家公司表示,Sora在短期内不会向大众开放 ,因为其“技术仍存在一些缺陷,包括一些空间问题”。

网页挤崩溃	,OpenAI视频生成大模型Sora终于正式登场|界面新闻 · 科技

在将近10个月之后,万众瞩目下,Sora终于在此次系列发布中重磅登场。

OpenAI表示 ,2月发布Sora之后,团队开发了其新版本Sora Turbo,其性能有了显著进步 ,即日起该版本将作为独立产品提供给ChatGPT Plus和Pro用户 。

在价格上 ,20美元一个月的ChatGPT Plus用户,每月可以生成最多50个视频,分辨率最高为720p ,时长为 5 秒;每月200美元的ChatGPT Pro用户,每月最多可以生成500个视频,可以同时生成五个视频 ,时长20秒,分辨率最高为1080p,并可下载无水印视频 。

网页挤崩溃,OpenAI视频生成大模型Sora终于正式登场|界面新闻 · 科技

Sora Turbo可以生成最长达20秒的视频,最高1080p清晰度 ,有宽屏 、竖屏、方屏比例可选。在生成模式上,除了基础的文本转视频 (Text-to-Video)模式,还有文本+图像转视频 (Text+Image-to-Video)模式 ,利用图像辅助Sora理解用户的创作意图 ,以及融入特定图像元素;以及文本+视频转视频 (Text+Video-to-Video)模式,用户可以上传已有的视频,并结合文本描述来对其进行修改或扩展。

此外 ,Sora Turbo还有多种视频编辑工具,包括替换、删除或重新构想视频中的元素;找到并隔离最佳帧,然后向任一方向延伸它们以完成场景;使用Loop剪辑并创建无缝重复的视频以及一个名为Storyboard的选项 ,用户可以通过它详细描述希望视频在不同时间点发生的内容,从而更好地指导一系列片段的生成 。

网页挤崩溃	,OpenAI视频生成大模型Sora终于正式登场|界面新闻 · 科技
利用Sora生成的视频案例

目前,http://sora.com网站已经上线,美国及其他市场的ChatGPT付费用户可以通过该网站开始使用Sora ,但在欧洲大部分地区和英国还需要一段时间才能使用,中国用户依然受限。

不过,由于实在是太火爆 ,Sora网站一度被挤到崩溃 ,OpenAI CEO山姆·奥特曼(Sam Altman)表示:“由于需求超出预期,我们将不得不间歇性地关闭新用户注册,并且生成内容的速度会在一段时间内减慢。 ”

在技术路线上 ,目前,业界普遍猜测Sora的成功延续了OpenAI的Scaling law法则,即通过海量的数据 ,大量的算力,再加上大参数模型,最终“大力出奇迹” 。

OpenAI研究科学家Noam Brown在Sora Turbo发布后表示 ,Sora是scale力量最直观的展示。山姆·奥特曼则表示,“大家可以将 Sora看作视频版的GPT-1。”

市场预计,Sora的发布会对视频制作领域带来革命性的变化 ,无论是电影制作 、广告、游戏开发还是社交媒体,都可以借助视频生成大模型降低视频创作的门槛,产生新的机遇 。

自今年2月首次预告Sora以来 ,OpenAI便开始与电影制片厂、媒体高管以及经纪公司展开会谈。OpenAI还允许一些艺术家 、知名演员和导演试用该服务。

OpenAI还表示 ,Sora是一项理解和模拟现实的基础性AI技术,是开发能够与物理世界互动模型的重要一步 。

OpenAI发布Sora之后,国内互联网大厂和大模型公司纷纷跟进视频大模型这一赛道 ,包括字节跳动、快手,今年发布视频生成模型的公司还包括阿里云、Minimax 、生数科技 、智谱AI等公司。就在最近,腾讯混元大模型也宣布上线视频生成能力 ,正式加入竞争激烈的视频生成赛道。

不过,视频生成模型领域虽然看起来火热,也面临着非常严峻的挑战 。近日 ,百度CEO李彦宏称“百度不做Sora ”的演讲被媒体曝光,李彦宏在内部讲话中称,Sora这种视频生成模型的投入周期太长 ,10年、20年都可能拿不到业务收益,无论多火爆,百度都不去做 。

界面新闻从一位负责视频生成模型的技术人士处了解到 ,生成式AI技术正大幅降低视频生成的门槛 ,导致视频数据以20倍左右的速度增长,对计算成本和效率提出了严峻的挑战。以Sora模型为例,其训练和推理所需的算力需求分别达到了GPT-4的4.5倍和近400倍。

中国银河证券研究院的报告也显示 ,Sora对算力需求呈指数级增长 。其根据Sora参数规模推演出的训练单次算力需求或可达到2.6×10^24Flops,相当于GPT-3175B的8.2倍。目前Sora还在初级阶段,伴随不断迭代调优 ,其训练数据集规模将进一步增大,未来算力需求也会大幅增加。

上述技术人士还表示,在编解码层和框架层 ,视频生成模型也面临着诸多挑战 。一方面是效率的问题,另一方面是在计算需求日益增长的情况下,能否灵活处理越来越复杂的需求。

这些都对视频生成模型形成巨大考验 ,但其在商业化上的形势仍然不够明朗,一定程度上使训练和推理成本上的挑战更为严峻。

视频生成模型同时还面临着安全方面的挑战 。OpenAI表示,为了防止被滥用 ,用Sora生成的视频会带有C2PA元数据 ,表明这些视频是AI生成的。在上传图像和视频之前,OpenAI还会要求用户同意使用协议,包括不得上传18岁以下未成年的照片、色情或暴力内容 、受版权保护的内容。一旦被发现上传违禁内容 ,账号会被关停 。

你可能想看:

转载请注明来自杭州西湖夜色摄影图片集-魅力杭州 - 杭州西湖夜色摄影图片,本文标题:《网页挤崩溃,OpenAI视频生成大模型Sora终于正式登场|界面新闻 · 科技》

每一天,每一秒,你所做的决定都会改变你的人生!

发表评论

快捷回复:

评论列表 (暂无评论,3人围观)参与讨论

还没有评论,来说两句吧...

Top
网站统计代码