Stable Diffusion使用ControlNet控制人物的姿勢

本單元介紹Controlnet的openpose模組,控制圖片中人物的姿勢。

Step1)安裝controlnet擴充功能

點選「擴充功能->可用->載入自」,搜尋「webui-controlnet」,找到「sd-webui-controlnet操作」擴充套件,點選「安裝」。

點選「擴充功能->已安裝->更新並重新啟動使用者介面

Step2)點選「設定->Controlnet」,設定模型最大數量為3,可以使用3個Controlnet,點選上方「套用設定->重新載入UI

Step3)從https://huggingface.co/lllyasviel/ControlNet-v1-1/tree/main下載模型control_v11p_sd15_openpose.pth(約1.4G),放置在資料夾stable-diffusion-webui\models\ControlNet下,重新啟動使用者介面。

Step4)使用文生圖輸入prompt,設定方法,接著設定ControlNet。

在左側「單張圖像」載入圖片,勾選「啟用」與「開啟預覽」,使用預處理器「openpose」,點選剛剛下載的模型,接著點選爆炸圖示,就會辨識骨架。設定好後點選「產生」。

產出結果如下,依照指定的姿勢產生圖片。

ControlNet的模組分成以下幾種,詳細請參閱https://github.com/lllyasviel/ControlNet

canny 擷取圖片中的邊緣線生成圖片

mlsd 擷取圖片中明顯的直線生成圖片

hed 擷取圖片中的特徵生成圖片

scribbles 使用者提供塗鴉線條生成圖片

openpose 擷取圖片中的人物骨架生成圖片

seg 提供圖片大略的色塊生成圖片

depth擷取圖片中的景深生成圖片

normal 擷取圖片中的景深生成圖片