OpenAI 再不发布 Sora,就晚了 转载

愤怒的蜗牛

变天了!还记得OpenAI刚推出Sora时给人的惊艳感,但在文生视频领域,Sora想一家独大也没有那么简单。如今,越来越多表现不俗的替代方案已经出现。


继Luma AI的Dream Machine首次亮相之后,Runway ML最近推出的Gen-3 Alpha也令人印象深刻。与此同时,快手推出了Kling(可灵),这一模型能够以每秒30帧的速度生成1080p高清分辨率的视频。


OpenAI 再不发布 Sora,就晚了 转载图片


Gen-3 Alpha经过视频和图像的训练,将为Runway的文字转视频、图像转视频及文字转图像工具提供支持。它还将增强现有的控制模式,如运动画笔、高级摄像机控制和导演模式,并支持即将推出的工具,以便更精确地控制结构、风格和动态。


正如OpenAI与好莱坞的合作一样,Runway也与顶级娱乐和媒体公司合作,开发Gen-3 Alpha的定制版本。这种Gen-3模型的定制化使得对风格和角色一致性的控制更加灵活,可以满足特定的艺术和叙事需求。


与OpenAI不同的是,Runway已经宣布Gen-3 Alpha很快将向所有人开放。


“Gen-3 Alpha仅用四个月便迅速逼近Sora的水平,这意味着Omni也可能在9月前被迎头赶上。Anthropic甚至可能在GPT-5发布之前就推出他们的自主AI系统。OpenAI面临着要么加快其战略步伐,要么接受退居第二的现实选择。”X平台的一位用户写道。

1.Sora明显滞后


Sora的一大劣势在于,目前它还无法生成具有持续表情和角色特征的逼真人像。


例如,在Shy Heads使用Sora制作的短片《气球头》中,为了克服Sora的局限性,他们将人物的脸替换成了气球。该短片的创作者Walter Woodman提到,他们使用Premiere和After Effects进行了影片编辑。


然而,Gen-3 Alpha擅长生成表现力丰富的人类角色,能够展示广泛的动作、手势和情感。


正如下面这个示例。提示词是:一位原本忧郁的中年秃顶男子,当一顶卷曲的假发和墨镜突然落在他头上时,变得开心起来。(Prompt: A middle-aged sad bald man becomes happy as a wig of curly hair and sunglasses fall suddenly on his head.)



OpenAI 再不发布 Sora,就晚了 转载

值得注意的是,Adobe最近宣布正在探索与领先的AI供应商建立合作,包括OpenAI的Sora、RunwayML和Pika等。


此外,Gen-3 Alpha从设计之初就瞄准创意应用,这使得它能够理解并生成多种风格和艺术指令。


除了Gen-3 Alpha之外,Luma AI声称其Dream Machine与Sora不同,能够理解世界物理原理及现实世界中的事物运作方式。另一个有趣的特点是,它能将现有图像扩展成视频。


“哇,来自@LumaLabsAI的新模型,将图像延伸成视频,真是非同凡响。我直觉上认为这很快就会成为可能,但亲眼见到并思考其未来迭代的潜力仍是另一回事。”前OpenAI研究员,大神Andrej Karpathy说道。



OpenAI 再不发布 Sora,就晚了 转载

梗图被续写,逐渐变成视频。上述示例:灾难女孩(Disaster Girl)


另一个关键区别在于其视频的超逼真质量。Luma所采用的人工智能算法会仔细分析并增强每个细节,从纹理到光照,确保最终输出效果几乎与现实世界的镜头难以区分。不过,Dream Machine也存在一些限制,例如形变、在视频中插入文字以及相机运动方面的处理。


另一方面,中国的可灵模型能够生成长达两分钟、分辨率为1080p、每秒30帧的视频。该模型以其逼真的输出效果和对现实世界物理精确模拟而著称,尤其擅长于3D人脸和身体重建,使得生成的内容更加栩栩如生、富有表现力。


2.OpenAI 在GPU方面具有优势 


Luma AI 成功的一个重要因素是AWS,它为公司提供了急需的GPU资源。


AWS的数据和机器学习服务副总裁Swami Sivasubramanian表示:“很高兴看到AWS H100训练基础设施如何帮助Luma AI团队减少基础模型的训练时间,并支持Dream Machine的发布。”


然而,在公开上线后不久,网站就因巨大的访问需求而难以应对。在这方面,OpenAI显示出其优势。


作为ChatGPT的开发者,OpenAI能够利用微软Azure,获得最新的NVIDIA GPU资源。在微软Build大会上,CEO萨提亚·纳德拉宣布,他们将成为首批使用NVIDIA最先进的Blackwell GPU的云服务提供商之一。


OpenAI最近还与甲骨文(Oracle)建立了合作伙伴关系,以获取更多的计算能力。

3.OpenAI 是否会真正推出产品? 


与Luma AI相关的还有另一个有趣的故事。在Google I/O大会上,谷歌介绍了其视频生成模型Veo。然而,出于安全考虑,谷歌尚未发布该模型。


现为Luma AI研究科学家的Dan Kondratyuk此前曾在谷歌工作,他称自己离开谷歌是因为公司没有推出任何产品。


他在X平台上发帖说:“我离开谷歌加入了Luma。我曾是早期参与开发Veo团队的一员,但我知道它很长一段时间内都不会面向大众发布,就像Sora一样。除非有像Luma这样的公司迫使他们出手,至少我希望如此(给我权限吧)”。


与此同时,OpenAI采取了一种策略,即宣布产品来抢夺谷歌的风头,但实际上并未交付。例如,当谷歌推出Gemini 1.5时,OpenAI在同一天宣布了Sora。在2024年Google I/O大会前一天,OpenAI宣布了GPT-4o。然而,其语音功能至今仍不可用。


OpenAI 再不发布 Sora,就晚了 转载图片

X平台上甚至专门有人发帖调侃OpenAI在演示与发布阶段截然不同的产品表现


另一方面,谷歌也和OpenAI一样,加入了抢先宣布产品的竞赛。


最近,该公司推出了其视频转音频(V2A)模型,该模型能为任意视频生成音频。有趣的是,这个模型可以与Veo配合使用,为视频片段配上富有戏剧性的配乐、逼真的音效或与视频角色及基调相匹配的对话。


OpenAI应该趁早发布Sora,因为竞争不会减弱。


好莱坞演员艾什顿·库彻最近赞扬了OpenAI的Sora,称创作者将能够利用它来渲染整部电影。“我有一个测试版,它相当惊人,”他说道。


在最近接受《华尔街日报》采访时,首席技术官Mira Murati表示,OpenAI很可能在今年晚些时候让Sora向公众开放。


但事实如何,或许我们还需要静心以待。


参考链接:https://analyticsindiamag.com/openai-should-release-sora-before-its-too-late/  

想了解更多AIGC的内容,请访问:

51CTO AI.x社区

https://www.51cto.com/aigc/


您需要 登录账户 后才能发表评论

发表评论

快捷回复: 表情:
AddoilApplauseBadlaughBombCoffeeFabulousFacepalmFecesFrownHeyhaInsidiousKeepFightingNoProbPigHeadShockedSinistersmileSlapSocialSweatTolaughWatermelonWittyWowYeahYellowdog
评论列表 (暂无评论,181人围观)

还没有评论,来说两句吧...

目录[+]

取消
微信二维码
微信二维码
支付宝二维码