Diffusers:Hugging Face 出品的扩散模型工具箱,几行代码就能出图

搞 AI 绘画的人,多少都听过 Stable Diffusion。但原版代码跑起来并不方便,各种依赖、配置、模型加载都得自己折腾。Hugging Face 做了个叫 Diffusers 的库,把扩散模型的使用门槛降到了 pip install 一下就行。

这个项目目前 GitHub 上拿了三万三千多颗星,是 Hugging Face 旗下最热门的项目之一。

正文顶部截图

它到底干了什么

简单说,Diffusers 就是一个 Python 库,帮你调用各种现成的扩散模型来生成图片。不用自己训模型,不用自己搭管线,拿过来直接用。

核心设计分三层:Pipeline(管线)、Scheduler(调度器)、Model(模型)。Pipeline 把整个生成流程串起来,调度器控制去噪的步数和方式,Model 就是实际干活的神经网络。这三层可以随意拆开组合,灵活性很高。

用起来有多简单

看代码就知道了。生成一张图片,核心就三行:

from diffusers import DiffusionPipeline
pipeline = DiffusionPipeline.from_pretrained("stable-diffusion-v1-5/stable-diffusion-v1-5")
pipeline("An image of a squirrel in Picasso style").images[0]

Hugging Face Hub 上有三万多个模型checkpoint可以直接加载,换个模型名字就能生成不同风格的图片。想深入玩的话,也能自己搭管线,把不同的模型和调度器拼在一起。

README区域截图

支持哪些任务

Diffusers 覆盖的任务类型不少:文生图(Text-to-Image)、图生图(Image-to-Image)、图像修复(Inpainting)、超分辨率、ControlNet 精确控制,还有音频生成和分子3D结构生成。

比较常用的模型像 Stable Diffusion、DeepFloyd IF、Kandinsky、ControlNet,全都能直接调用。社区贡献的模型也在持续增加。

装起来也方便

标准 Python 包,pip 一行搞定:

pip install --upgrade diffusers[torch]

Mac 用户也有 M1/M2 的 MPS 加速支持。想用 conda 装也行,社区维护了 conda 包。

适合什么人

做 AI 绘画的开发者、研究人员,或者想在自己项目里集成图像生成功能的团队,都可以看看这个库。Hugging Face 本身在 AI 社区的影响力摆在那里,项目维护频率高,文档也写得比较完整。

已经有超过一万四千个 GitHub 项目在用 Diffusers,包括微软的 TaskMatrix、InvokeAI、InstantID 等知名项目。生态算是相当成熟了。

软的 TaskMatrix、InvokeAI、InstantID 等知名项目。生态算是相当成熟了。

Logo

脑启社区是一个专注类脑智能领域的开发者社区。欢迎加入社区,共建类脑智能生态。社区为开发者提供了丰富的开源类脑工具软件、类脑算法模型及数据集、类脑知识库、类脑技术培训课程以及类脑应用案例等资源。

更多推荐