目前的头发转移方法难以处理多样化和复杂的发型,从而限制了它们在现实世界中的适用性。在本文中,我们提出了一种新颖的基于扩散的头发转移框架,称为Stable-Hair,该框架将各种真实世界的发型稳健地转移到用户提供的脸上,以进行虚拟试发。

为了实现这一目标,我们的 Stable-Hair 框架被设计为两阶段管道,同时对原始扩散结构进行最小的更改。

在第一阶段,我们训练一个秃头转换器和稳定的扩散,以从用户提供的人脸图像中去除毛发,从而产生秃头图像。

在第二阶段,我们专门设计了三个模块:头发提取器、潜在身份网和头发交叉注意力层,以将目标发型以高度详细和高保真度转移到秃头图像中。

具体来说,Hair Extractor 经过训练,可以用所需的发型对参考图像进行编码。为了保持源图像和传输结果之间身份内容和背景的一致性,我们采用了Latent IdentityNet对源图像进行编码。

借助我们在U-Net中的头发交叉注意力层,我们可以准确且精确地将高度详细和高保真的发型转移到秃头图像上。

广泛的实验表明,我们的方法在现有的头发转移方法中提供了最先进的结果。

Stable-Hair,通过扩散模型进行真实的头发转移插图

Github地址:https://github.com/Xiaojiu-z/Stable-Hair

论文地址:https://arxiv.org/abs/2407.14078



微信扫描下方的二维码阅读本文

Stable-Hair,通过扩散模型进行真实的头发转移插图1

声明:本站所有文章,如无特殊说明或标注,均为本站原创发布。任何个人或组织,在未征得本站同意时,禁止复制、盗用、采集、发布本站内容到任何网站、书籍等各类媒体平台。如若本站内容侵犯了原著者的合法权益,可联系我们进行处理。