让我们看看官方演示视频吧！

Diffree是通过文字编辑图片，类似手动选中区域后通过提示词inpaint的效果，文本引导的无形状对象修复。

Diffree 经过训练，可以根据原始图像和对象文本描述预测包含新对象的蒙版和图像。得益于OABench中自然场景中物体的广泛覆盖，Diffree可以在同一图像中添加各种物体，同时很好地匹配视觉上下文。此外，Diffree 可以迭代地将对象插入到单个图像中，同时使用生成的蒙版保持背景一致性。

为了实现高质量的文本引导对象添加，我们策划了一个名为对象添加基准 （OABench） 的合成数据集，该数据集由 74K 真实世界元组组成，包括原始图像、绘制图像、对象的蒙版图像和对象描述。请注意，对象添加可以看作是对象删除的逆过程。我们通过使用高级图像修复算法删除图像中的对象来构建 OABench。通过这种方式，我们可以获得包含对象的原始图像、删除对象的修复图像、对象蒙版和对象描述。

项目地址：https://opengvlab.github.io/Diffree/

Github地址：https://github.com/OpenGVLab/Diffree

论文地址：https://arxiv.org/pdf/2407.16982

在线演示：https://huggingface.co/spaces/LiruiZhao/Diffree



微信扫描下方的二维码阅读本文

Diffree，通过文字编辑图片，文本引导的无形状对象修复插图

声明：本站所有文章，如无特殊说明或标注，均为本站原创发布。任何个人或组织，在未征得本站同意时，禁止复制、盗用、采集、发布本站内容到任何网站、书籍等各类媒体平台。如若本站内容侵犯了原著者的合法权益，可联系我们进行处理。