我们介绍了 Phenaki,这是一种能够在给定一系列文本提示的情况下进行逼真的视频合成的模型。由于计算成本、高质量文本视频数据的数量有限以及视频长度可变,从文本生成视频尤其具有挑战性。为了解决这些问题,我们引入了一种用于学习视频表示的新因果模型,该模型将视频压缩为离散标记的小型表示。这个分词器及时使用因果注意力,这使得它可以处理可变长度的视频。为了从文本生成视频标记,我们使用了一个以预先计算的文本标记为条件的双向屏蔽转换器。生成的视频令牌随后被去令牌化以创建实际视频。为了解决数据问题,我们展示了对大量图像文本对以及较少数量的视频文本示例的联合训练如何产生超出视频数据集中可用内容的泛化。与之前的视频生成方法相比,Phenaki 可以在开放域中以一系列提示(即时间可变文本或故事)为条件生成任意长视频。据我们所知,这是第一次有论文研究从时间变量提示生成视频。此外,所提出的视频编码器-解码器在时空质量和每个视频的令牌数量方面优于文献中当前使用的所有每帧基线。Phenaki 可以根据开放域中的一系列提示(即时间可变文本或故事)生成任意长视频。据我们所知,这是第一次有论文研究从时间变量提示生成视频。此外,所提出的视频编码器-解码器在时空质量和每个视频的令牌数量方面优于文献中当前使用的所有每帧基线。Phenaki 可以根据开放域中的一系列提示(即时间可变文本或故事)生成任意长视频。据我们所知,这是第一次有论文研究从时间变量提示生成视频。此外,所提出的视频编码器-解码器在时空质量和每个视频的令牌数量方面优于文献中当前使用的所有每帧基线。
类似的工具

DomoAI
产生高质量的视觉效果更快,生成一致的风格

闪剪_AI智能剪辑_数字人营销
零基础、零门槛,轻松生成IP视频~限时领取会员大礼包

WowTo
创建操作视频,并在几分钟内...

Quinvio AI
用人工智能建议来涂鸦你的内...

pollinations
我们结合并微调算法以匹配任...

FILM
大场景运动的电影帧插值。 帧...
其他人也看的工具

智飞猫AI智能写作
符合本科毕业论文格式要求并附带查重报告

removebg
removebg图片背景消除100% 全自动且免费,简单好用!

AI Photos
AI Photos是一款允许用户为自己、伴侣或两者创建独特数字头像的工具。它提供了各种不同的风格和图像,允许用户自定义他们的头像。

魔音工坊
文字转语音,录音转文字,视频转文字,视频转音频等功能,操作十分简单,功能丰富.

TME Studio腾讯音乐
分析TME全曲库歌词以及散文、诗歌等多种语料素材,依据智能推荐算法帮你找到合适的押韵词语,打开灵感空间

协码啦 AI
AI图片+文字+文档 一站式AI集成平台