Still-Moving,谷歌DeepMind团队发布了文本转视频(T2V, Text-to-Video)新框架。

给定一个基于文本到图像 (T2I) 模型构建的文本到视频 (T2V) 模型,Still-Moving 可以调整任何自定义的 T2I 权重以与 T2V 模型对齐。这种改编仅使用少数静止参考图像,并保留了 T2V 模型之前的运动。

Still-Moving 还可用于根据预训练的风格化 T2I 模型(例如 StyleDrop,[Sohn 等人,2023 年])生成具有一致风格的视频。

Still-Moving 定制模型可以与 ControlNet [Zhang et al. 2023] 结合使用,允许对现有模型进行定制,以生成风格符合给定 T2I 模型风格的视频,但其结构和动态由给定的参考视频确定。

让我们看看官方演示视频吧!

项目地址:https://still-moving.github.io/



微信扫描下方的二维码阅读本文

Still-Moving,谷歌DeepMind团队发布的文本转视频,可以和ControlNet等模型结合使用插图

声明:本站所有文章,如无特殊说明或标注,均为本站原创发布。任何个人或组织,在未征得本站同意时,禁止复制、盗用、采集、发布本站内容到任何网站、书籍等各类媒体平台。如若本站内容侵犯了原著者的合法权益,可联系我们进行处理。