AnyDoor

430次阅读

AnyDoor,由香港大学、阿里巴巴和蚂蚁集团联合研发AnyDoor,可以将一张照片上的任何物品传送到另一张图片的世界中。

AnyDoor项目地址:https://damo-vilab.github.io/AnyDoor-Page/

AnyDoor在线演示地址:https://huggingface.co/spaces/xichenhku/AnyDoor-online

AnyDoor功能:

    对象移动:AnyDoor 可以应用于对象移动等花哨的任务。

    对象交换:AnyDoor 也可以扩展为进行对象交换。

    虚拟试妆:AnyDoor还可以作为虚拟试妆的简单但强大的基准。它可以保留不同衣服的颜色、图案和纹理,而无需复杂的人工解析。

    多主体合成::由于 AnyDoor 具有高度可控性,可将对象放置在给定场景的特定位置,因此很容易扩展到多主题构图。

AnyDoor使用场景:

    在虚拟试穿应用中,用户可以将选定的衣物快速定制到自己的照片中。

    在物体移动应用中,用户可以将目标物体从一张照片移动到另一张照片中的指定位置。

    在设计领域中,用户可以将自己设计的家具或装饰品定制到不同的室内场景中,以获得更直观的效果预览。

AnyDoor是一种基于扩散的图像生成器,能够以和谐的方式将目标物体传送到用户指定位置的新场景。 我们的模型不是为每个对象调整参数,而是只训练一次,并在推理阶段毫不费力地泛化到不同的对象-场景组合。 如此具有挑战性的零样本设置需要对特定物体进行充分的表征。 

为此,我们用细节特征来补充常用的身份特征,这些特征经过精心设计,以保持纹理细节,同时允许多种局部变化(例如,照明、方向、姿势等),支持物体与不同环境的有利融合。 我们进一步建议从视频数据集中借用知识,在那里我们可以观察到单个物体的各种形式(即沿时间轴),从而实现更强的模型泛化性和鲁棒性。 

大量的实验证明了我们的方法优于现有的替代方案,以及它在实际应用中的巨大潜力,如虚拟试妆和物体移动。

AnyDoor
收录说明:
1、本网页并非 AnyDoor 官网网址页面,此页面内容编录于互联网,只作展示之用;2、如果有与 AnyDoor 相关业务事宜,请访问其网站并获取联系方式;3、本站与 AnyDoor 无任何关系,对于 AnyDoor 网站中的信息,请用户谨慎辨识其真伪。4、本站收录 AnyDoor 时,此站内容访问正常,如遇跳转非法网站,有可能此网站被非法入侵或者已更换新网址,导致旧网址被非法使用,5、如果你是网站站长或者负责人,不想被收录请邮件删除:i-hu#Foxmail.com (#换@)

正文完
 0
Ai开源项目
版权声明:本站原创文章,由 Ai开源项目 于2023-12-25发表,共计1046字。
转载说明:除特殊说明外本站文章皆由CC-4.0协议发布,转载请注明出处。