ControlNet

ControlNet

Introduction

• 利用Stable Diffusion的Copy，对模型的控制模型进行额外的训练。同时对Stable Diffusion的模型进行冻结，转成对ControlNet进行训练
• ControlNet的初始化使用Zero Convolution, 初始化为0的卷积核为1的卷积层。
• 对每次的输出运算同步到Stable Diffusion当中
• 实际网络连接

Reference

• [ ]
• Adding Conditional Control to Text-to-Image Diffusion Models - arxiv
• ControlNet - BiliBili