Sora加入Adobe全家桶,视频改图加戏样样行:PR大更新预告

时间:2024-09-20 编辑: 浏览:(636)

文章来源:机器之心

这就是生成式 AI 时代的视频编辑工具。

Adobe 全家桶马上就要拥有最先进的生成式 AI 视频创作能力了。

今天,Adobe 宣布了 Premiere Pro 全新版本的更新计划。其中包含为第三方 AI 视频生成模型添加插件,不论是 OpenAI 的 Sora 还是 Runway 的 Gen-2 和 Pika,很快都将出现在 Adobe 工具体系中可被人们所用。

现在,基于 Adobe 自己的大模型 Firefly 的能力,你可以在视频素材上直接添加或减少内容。

转场时感觉少点烘托背景的镜头?现在用 OpenAI 的 Sora 自动生成一段就行了。

Sora 可以在每次 API 调用中为自然语言提示创建最多三种视频变体。

新工具也可以用来「凭空延长」已有镜头内容的长度,不过这一部分似乎不受提示词的控制。

自今年 2 月 OpenAI 推出 Sora 以来,我们一直只能看官方在 TikTok 账号里放 AI 生成视频的 demo,真正的工具还是在「即将发布」的状态。现在新版 Adobe Premiere Pro 都亮相了,可能预示着新技术马上即将落地。

对于 Adobe 高达 3300 万的 Creative Cloud 付费用户群体来说,这更是一件大事,它可能会带来设计领域最彻底和革命性的变化。

有了这一功能,Premiere Pro 用户将能够编辑和处理传统摄像机捕获的实景视频以及 AI 素材并与之混合。想象一下,拍摄一个演员表演逃离怪物的场景的视频,然后用人工智能生成这只怪物 —— 这一步不需要道具、服装和演员,而两个视频片段可以在同一个编辑器中访问并组合在同一个视频文件中。

对于使用更成熟的流程(从计算机到手绘帧)创建的动画也是如此,这些动画可以与 Premiere Pro 上同一文件中匹配的 AI 素材混合。

值得一提的是,从 Adobe 的演示里,我们再次看到了 OpenAI 的 Sora 和其他类似产品存在代差 —— 其生成的视频效果要比其他可用工具要好很多。

与 Adobe 之前发布的许多与 Firefly 相关公告不同,这一次新视频生成工具尚未确定发布日期,Adobe 只是表示它们将在今年推出。

引入第三方先进 AI 大模型对于视频处理来说属于面向未来的探索。据 Adobe 称,这一想法旨在为 Premiere Pro 用户提供更多选择。Adobe 还表示,其内容凭证标签可以应用于这些生成的剪辑,以识别使用哪些人工智能模型来生成它们。

Adobe 的 Premiere Pro(PR)自 1991 年底首次发布 Mac 版以来,一直是世界上最受欢迎的视频编辑程序之一,如今已被世界各地的主要好莱坞电影剪辑师和独立电影制作人使用。它即将迎来一场其 33 年历史上从未有过的革新。

需要注意的是,Adobe 尚未确定何时将这些第三方 AI 视频生成器集成到 Premiere Pro 中,而且细节似乎还没有完全敲定,许多第三方工具在发布后都需要付费订阅。

此外,Adobe 还使用自己内部的生成式人工智能产品(如 Firefly 和 Generative Fill 等),强调其模型是根据其拥有或已获得许可 / 有权使用的数据进行训练的,例如 Adobe Stock 创作者贡献的内容(尽管这令一些 Adobe Stock 摄影师和艺术家感到懊恼)。

Adobe 加码生成式 AI

Adobe 专注于多媒体创作和创意软件产品,在生成式 AI 技术爆发后,这家公司不甘落后快速加入了战局。

上周,据彭博社报道,Adobe 在竞争对手 Midjourney 生成的一些图像上对 Firefly 进行了训练,Midjourney 本身基于开源 AI 模型 Stable Diffusion,在公开抓取和受版权保护的网络数据上进行训练。

今天,Adobe 宣布 Firefly 文本到图像生成模型的一个版本将在「今年晚些时候」集成到 Premiere Pro 中,从而提供一套全新的「生成式 AI 工作流程」及功能。

例如,「生成式扩展」功能将让视频编辑和电影制作人「无缝添加帧以使视频剪辑更长」,而无需拍摄任何新的镜头,这可能是一个非常有用且省钱的功能。Adobe 还表示将让视频实现更平滑的过渡,例如将过于突然结束的剪辑延长,以在某个时刻或动作上停留更长时间。

Firefly for Video 还将确保 Premiere Pro 用户可以执行智能「目标检测和移除」功能,本质上是突出显示视频中的对象(道具、角色、服装、风景等),并允许 AI 模型跨不同帧跟踪它们。同时,用户还可以利用生成式 AI 将这些对象编辑为新对象,快速更改角色的服装或道具,甚至跨多个剪辑和摄像机角度完全移除对象。

最后,Firefly for Video 还将附带文本到视频图像生成器,使其可与 Sora、Runway、Pika 和 Stable Video Diffusion 相媲美。

尽管目前还只是预览版,但 Adobe 针对 Premiere Pro 提供的新一代 AI 集成功能已经赢得了电影制作人和社交媒体创意人士的掌声。

「这对我的真人电影工作非常有帮助」,导演 Kevin K. Shah 说道。

参考内容:

https://venturebeat.com/ai/adobe-to-add-ai-video-generators-sora-runway-pika-to-premiere-pro/

https://www.theverge.com/2024/4/15/24130804/adobe-premiere-pro-firefly-video-generative-ai-openai-sora

https://www.adobe.com/products/premiere/ai-video-editing.html

最新 更多 >
  • 1 JGN币有风险吗

    JGN币是一种新兴的加密货币,它的价格和市值在近期出现了不错的增长。然而,就像任何其他投资产品一样,JGN币也存在一定的风险。在决定是否投资这种数字资产之前,我们需要认真考虑一些潜在的风险。首先,JGN币是一个相对较新的项目。虽然它在短时间内获得了一些关注,但它的发展还未经受过时间的考验。许多项目在初期虽然表现出色,但很快就会消失或失败。这意味着投资JGN币可能会面临项目失败的风险。其次,数字货币

  • 2 KBOX币有风险吗

    在加密货币行业,KBOX币是一种相对较新的数字货币,它在市场上的表现引起了很多人的关注。然而,对于投资者来说,了解KBOX币是否存在风险是至关重要的。首先,KBOX币的价格波动是投资者最关心的问题之一。加密货币市场一直以来都充满不确定性,价格波动较大。KBOX币也不例外,其价格可能会出现剧烈波动,这对于投资者来说是一个巨大的风险。投资者需要时刻关注市场动态,并做出相应的决策,以降低损失。其次,与其

  • 3 ISA币有风险吗

    ISA币,全名是Initial ISA Coin,是一种新兴的加密货币。随着加密货币市场的快速发展,越来越多的人开始关注起ISA币,并考虑是否应该投资其中。然而,就像任何其他投资方式一样,ISA币也存在一定的风险。首先,ISA币市场的波动性是一个不可忽视的风险因素。加密货币市场一直被认为是一个高风险高收益的投资领域,而ISA币作为其中的一员并不例外。由于市场供求关系和各种因素的影响,ISA币的价格

  • 4 iOWN币有希望吗

    标题:iOWN币有希望吗?随着加密货币市场的发展,越来越多的数字货币跻身于人们的视野。近年来,iOWN币作为一种新兴的加密货币,备受关注。那么,iOWN币有希望成为主流加密货币吗?让我们来分析一下。首先,iOWN币拥有独特的优势,这使得其成为发展的潜力股。作为去中心化的加密货币,iOWN币通过区块链技术实现了交易的安全性和透明性。与传统货币相比,iOWN币的交易更便捷、快速,并且不受地域和国界的限

  • 5 JONES币有风险吗

    JONES币是一种新兴的加密货币,它相对于传统货币具有更高的风险。在投资JONES币之前,我们有必要了解这个数字资产的风险和潜在的回报。本文将探讨JONES币的风险因素,并帮助读者做出明智的投资决策。首先,JONES币的市场价格波动性较大。加密货币市场本身就是一个高度不稳定的市场,价格波动大,由于市场供需关系的变化,JONES币的价格可能会剧烈波动。这种波动对于短期投资者来说可能意味着巨大的风险和

  • 6 IM币有希望吗

    IM币是目前火爆的虚拟货币之一,它曾一度被称为将来的数字货币,在全球范围内引起了广泛的关注和讨论。但是,IM币能否实现它所宣称的无限潜力,我认为仍然存在一定的不确定性。首先,IM币作为一种虚拟货币,面临着众多的挑战。虽然IM币承诺提供快速、安全、便捷的交易方式,但是与传统的金融体系相比,它在稳定性和可靠性方面存在着较大的风险。虚拟货币的价格波动较大,由于市场供需关系的影响,IM币的价值可能会随时发

  • 7 KYOKO币值多少钱一枚

    KYOKO币是一种加密货币,随着区块链技术的推广和应用,加密货币成为了当前全球最热门的投资领域之一。KYOKO币目前在市场上有着不错的表现,其价值也备受关注。那么,KYOKO币值多少钱一枚呢?根据目前市场行情来看,KYOKO币的价格是根据供求关系而波动的。通常来说,市场需求大的时候,KYOKO币价格会上涨;反之,当市场需求下降时,KYOKO币价格会有所下降。与其他加密货币相比,KYOKO币有着自身

  • 8 KALM币值多少钱一枚

    KALM币作为一个数字货币,已经在加密货币市场引起了广泛的注意和热议。那么,KALM币值多少钱一枚呢?接下来我们将通过对KALM币的市场表现和关键因素的分析,来揭示KALM币的实际价值。KALM币是由Kalm Ecosystem(简称KALM)发行和管理的一种去中心化数字货币。KALM币的市场价值受多个因素的影响,包括供需关系、市场情绪、项目发展等。与其他加密货币一样,KALM币的价格会波动,并且

  • 9 kgw币有希望吗

    近年来,随着区块链技术的迅猛发展,加密货币成为了许多投资者关注的热门话题。在众多加密货币中,KGW币备受讨论,然而人们对KGW币的前景充满了疑问。那么,KGW币有希望吗?本文将从技术发展、市场前景和投资潜力三个方面进行分析,以期解答大家的疑虑。首先,从技术发展角度来看,KGW币具备了一定的潜力。KGW币采用了先进的区块链技术,通过去中心化的系统,实现了快速、安全的交易,并且具备强大的扩展能力。此外

  • 10 IMGNAI币有希望吗

    IMGNAI币是近期备受关注的数字货币之一。它采用了独特的技术和创新的经济模型,引起了许多人的兴趣和期待。然而,对于一个新兴的币种来说,面临的挑战很多。那么,IMGNAI币有希望吗?它能否在激烈的竞争中脱颖而出?让我们来一起探讨一下。首先,IMGNAI币的技术实力是其最大的优势之一。它采用了先进的区块链技术,具有高可扩展性和安全性。与传统的区块链相比,它能够实现更高的交易速度和更低的交易费用。此外