我们介绍了 Phenaki,这是一种能够在给定一系列文本提示的情况下进行逼真的视频合成的模型。由于计算成本、高质量文本视频数据的数量有限以及视频长度可变,从文本生成视频尤其具有挑战性。为了解决这些问题,我们引入了一种用于学习视频表示的新因果模型,该模型将视频压缩为离散标记的小型表示。这个分词器及时使用因果注意力,这使得它可以处理可变长度的视频。为了从文本生成视频标记,我们使用了一个以预先计算的文本标记为条件的双向屏蔽转换器。生成的视频令牌随后被去令牌化以创建实际视频。为了解决数据问题,我们展示了对大量图像文本对以及较少数量的视频文本示例的联合训练如何产生超出视频数据集中可用内容的泛化。与之前的视频生成方法相比,Phenaki 可以在开放域中以一系列提示(即时间可变文本或故事)为条件生成任意长视频。据我们所知,这是第一次有论文研究从时间变量提示生成视频。此外,所提出的视频编码器-解码器在时空质量和每个视频的令牌数量方面优于文献中当前使用的所有每帧基线。Phenaki 可以根据开放域中的一系列提示(即时间可变文本或故事)生成任意长视频。据我们所知,这是第一次有论文研究从时间变量提示生成视频。此外,所提出的视频编码器-解码器在时空质量和每个视频的令牌数量方面优于文献中当前使用的所有每帧基线。Phenaki 可以根据开放域中的一系列提示(即时间可变文本或故事)生成任意长视频。据我们所知,这是第一次有论文研究从时间变量提示生成视频。此外,所提出的视频编码器-解码器在时空质量和每个视频的令牌数量方面优于文献中当前使用的所有每帧基线。
类似的工具
![Wonder Dynamics logo](https://media.aizws.net/media/images/aitool/icon/20240102100706_2975.png)
Wonder Dynamics
在Wonder Dynamics,我们将人...
![Decoherence logo](https://media.aizws.net/media/images/aitool/icon/20240102100711_8951.png)
Decoherence
创建AI动画并将其与你的音乐...
![pollinations logo](https://media.aizws.net/media/images/aitool/icon/20240102100713_6167.png)
pollinations
我们结合并微调算法以匹配任...
![Quinvio AI logo](https://media.aizws.net/media/images/aitool/icon/20240102100710_7535.png)
Quinvio AI
用人工智能建议来涂鸦你的内...
![PixelForge logo](https://media.aizws.net/media/images/aitool/icon/20240102100708_7551.png)
PixelForge
制作一个更短的视频版本
![WowTo logo](https://media.aizws.net/media/images/aitool/icon/20240102100708_5113.png)
WowTo
创建操作视频,并在几分钟内...
其他人也看的工具
![Hour One logo](https://media.aizws.net/media/images/aitool/icon/20240102100724_1852.png)
Hour One
在几分钟内创建以演讲者为主导的视频
![万兴智演-AI创作助手 logo](https://media.aizws.net/media/images/aitool/icon/20240102100254_5281.png)
万兴智演-AI创作助手
AI一键生成高质量文案,打工人的提效神器
![浙江大学人工智能学院 logo](https://media.aizws.net/media/images/aitool/icon/20240102101109_689.png)
浙江大学人工智能学院
目前有人工智能技术应用、软件技术、计算机应用技术、电子信息工程技术、大数据技术等5个专业。人工智能专业群入选浙江省高职高水平专业群建设名单,专业群由人工智能技术应用、软件技术、计算机应用技术、电子信息工程技术、大数据技术等5个专业组成。
![invideo logo](https://media.aizws.net/media/images/aitool/icon/20240102100711_7475.png)
invideo
InVideo 使用现成的模板简化视频创建,即使您以前从未做过,也可以快速自定义这些模板。
![Cogniflow logo](https://media.aizws.net/media/images/aitool/icon/20240102101133_4843.png)
Cogniflow
从文本、图像或音频建立AI的...
![北京理工大学计算机学院 logo](https://media.aizws.net/media/images/aitool/icon/20240102101111_5688.png)
北京理工大学计算机学院
计算机学院始建于1958年,是全国最早设立计算机专业的高校之一。2018年4月,计算机学院、软件学院、网络科学与技术研究院合并成立新的计算机学院。学院累计为国家培养各类人才15000余名。计算机科学学科ESI排名进入全球前1%,学科排名进入全国前10%。