此扩展不同于许多已可用的扩展,因为它不使用 diffusers,而是原生实现了 InstantID,并且与 ComfyUI 完全集成。
如果您喜欢我的工作并希望看到更新和新功能,请考虑赞助我的项目。
更不用说文档和视频教程。可以查看我在 YouTube 上的 ComfyUI 高级理解 视频,例如 第 1 部分 和 第 2 部分。
保持代码开源和免费的唯一方法是通过赞助其开发。赞助越多,我就能投入更多时间在我的开源项目上。
请考虑 Github 赞助 或 PayPal 捐赠(Matteo "matt3o" Spinelli)。对于赞助 $50+ 的人,请告诉我是否希望在此 README 文件中被提及,您可以在 Discord 或通过 matt3o 🐌 gmail.com 联系我。
-
2024/02/27: 在负嵌入中添加了噪声注入。
-
2024/02/26: 修复了一个小但讨厌的错误。结果将有所不同,您可能需要降低 CFG。
-
2024/02/20: 我重构了节点,希望它们更易于使用。这是一次重大更新,以前的工作流将不再可用。
在 examples
目录中,您会找到一些基本工作流。
** 🎥 InstantID 功能介绍**
将 ComfyUI 升级到最新版本!
下载或 git clone
此仓库到 ComfyUI/custom_nodes/
目录或使用 Manager。
InstantID 需要 insightface
,您需要将其添加到您的库中,连同 onnxruntime
和 onnxruntime-gpu
。
InsightFace 模型是 antelopev2(不是经典的 buffalo_l)。下载模型(例如从 这里 或 这里),解压并将其放置在 ComfyUI/models/insightface/models/antelopev2
目录中。
主模型可以从 HuggingFace 下载,应将其放置在 ComfyUI/models/instantid
目录中。(请注意,该模型称为 ip_adapter,因为它基于 IPAdapter)。
您还需要一个 controlnet,将其放置在 ComfyUI controlnet 目录中。
请记住,目前这仅适用于 SDXL。
训练数据中充满了水印,为避免水印出现在您的生成中,请使用与 1024×1024(或标准尺寸)略有不同的分辨率,例如 1016×1016 效果很好。
重要的是将 CFG 降低到至少 4/5,或者您可以使用 RescaleCFG
节点。
人物的姿势是基于从参考图像生成的关键点。您可以通过向 image_kps
输入发送图像来使用不同的姿势。
默认的 InstantID 实现似乎真的“烧坏”了图像,我发现通过向负嵌入中注入噪声,我们可以缓解这一效果,并增加与参考的相似性。默认的 Apply InstantID 节点自动注入 35% 的噪声,如果您想微调效果,可以使用 Advanced InstantID 节点。
这仍然是实验性的,可能会在未来发生变化。
您可以向生成中添加更多 controlnets。提供了一个用于深度 controlnet 的示例工作流。
可以使用 IPAdapter 对构图进行样式化。提供了一个示例。
支持多 ID,但工作流有点复杂,生成速度较慢。我会检查是否可以找到更好的方法。示例工作流在 examples 目录中提供。
目前有一个高级的 InstantID 节点,当前与标准节点的唯一区别是您可以分别设置 instantID 模型和 controlnet 的权重。它现在还包括一个噪声注入选项。对于微调可能很有帮助。
instantID 模型对构图的影响约为 25%,其余的是 controlnet。
噪声有助于减少“燃烧”效果。
它与 SDXL Turbo/Lighting 非常兼容。使用社区的检查点效果最好。
正是由于慷慨的赞助商,整个社区才能享受开源和免费软件。请与我一起感谢以下公司和个人!
- RunComfy (ComfyUI 云)