使用Runway的iOS应用程序直接从您的手机创建生成式AI视频转视频

导读 AI创业公司Runway在iOS上推出了它的第一个移动应用程序,让人们可以直接从他们的手机上使用该公司的视频到视频生成AI模型-Gen-1。您可以在

AI创业公司Runway在iOS上推出了它的第一个移动应用程序,让人们可以直接从他们的手机上使用该公司的视频到视频生成AI模型-Gen-1。您可以在此处下载该应用程序,免费用户可获得数量有限的积分。

Gen-1允许您根据文本、图像或视频输入转换现有视频。从功能上讲,它的工作原理很像风格转换工具(不过,与风格转换不同的是,它会生成全新的视频作为输出,而不是应用过滤器)。例如,您可以上传某人在公园骑自行车的视频,并应用美学或主题。您可以为视频赋予水彩画或木炭素描等外观。

当然,因为这是一个生成式AI,输出的结果往往……很奇怪。例如,如果您添加粘土动画效果,您生成的模型将不会像真正的粘土动画一样运行。模型将在每一帧之间扭曲;四肢会生长和收缩;特征会融化和涂抹。不过,这都是可以预料的,并且不会影响乐趣。

例如,这里是AlPacinoinHeat(1995)标志性片段的三种不同渲染图。对我来说最值得注意的是右下角的剪辑,它使用我拍摄的一张猫的照片作为中介。无需我具体说明,模特将猫的脸应用到帕西诺的脸上,甚至给他的手涂上了一点毛皮,同时或多或少地保留了他的西装。顶行的另外两个剪辑是预设过滤器。

这是另一个示例:应用了“纸张和墨水”过滤器的伦敦圣保罗大教堂的视频。这不是一个令人兴奋的效果,但它非常容易制作。在一个更有经验和创造力的人手中,我相信它会非常壮观。

几天来我一直在测试Runway的应用程序,它确实使创建此类视频的整个过程更加流畅。(Runway的主要软件套件可在Web上获得,这使得捕获素材和生成素材之间的距离更远。)当然,这不是一种无缝的体验。您可能会在应用程序的第一个版本中发现常见的低效和意外错误。但是,正如Runway首席执行官CristóbalValenzuela告诉TheVerge的那样,让这些工具移动是很重要的。

“这就是手机如此有意义的原因,因为你直接从你的设备上录制,然后你告诉Gen-1如何转换视频,”Valenzuela说。

还有其他值得一提的限制。您不能处理超过五秒的镜头,并且有某些被禁止的提示。例如,你不能生成裸体,而且受版权保护的作品似乎也是禁止的。我提出制作“吉卜力工作室风格”视频的提示被拒绝了。每个视频也需要大约两到三分钟的时间来制作,这听起来并不多,但感觉就像一个即时移动编辑时代。处理是在云中完成的,并且可能会随着时间的推移而加快。该应用程序目前仅支持Runway的Gen-1模型,但Valenzuela表示将很快添加纯生成的Gen-2模型。

然而,这些笔记没有完全捕捉到的是像这样的工具的巨大可能性。AI文本到图像模型的输出也开始变得模糊和不切实际。现在他们被用来用教皇的大张旗鼓的照片来愚弄公众。

Valenzuela将当前的生成式AI时代比作19世纪的“光学玩具”阶段,当时科学家和发明家正在创造一系列功能微不足道的设备,但它们也是现代相机的祖先。Runway的移动应用程序就像这些玩具之一。我无法想象它被用于专业的制作工作,但我也无法想象这样的工具在未来会有多大的效果。