- VAEとは？
- VAEのインストール方法
- stablediffusion web UIでVAEの表示方法
VAEとは、「Variation Autoencoder」の略で、画像生成モデルの一種です。
有名どころですと「vae-ft-840000-ema-pruned」「kL-f8-anime2」「Clear VAE」などがあげられます
おすすめVAE
上記のように困ったら導入すべきVAEはこちらです。
- vae-ft-840000-ema-pruned
- kL-f8-anime2
- Clear VAE
vae-ft-840000-ema-pruned
まずは、vae-ft-840000-ema-prunedのファイルをダウンロードします。
https://huggingface.co/stabilityai/sd-vae-ft-mse-original/tree/main
下記のHugging Faceにアクセスをし「vae-ft-840000-ema-pruned.safetensors」をダウンロードします。
kL-f8-anime2
kL-f8-anime2のファイルをダウンロードします。
https://huggingface.co/hakurei/waifu-diffusion-v1-4/tree/main/vae
Clear VAE
Clear VAEのファイルをダウンロードします。
https://civitai.com/models/22354/clearvae
VAEの設定方法
次にVAEの設定方法をご紹介します。
VAEファイルのフォルダ移動
- vae-ft-840000-ema-pruned.safetensors
- kL-f8-anime2.ckpt
- Clear VAE_V2.3.safetensors
のVAEファイルをStable Diffusion web UIのフォルダのmodelsフォルダ直下のVAEフォルダの中へ移動させます。
C:\StableDiffusion\stable-diffusion-webui\models\VAE
stablediffusion web UIの設定
次に、Stable Diffusion web UIの設定をします。
設定を選択。
設定タブのstablediffusionを選択。
次に、「SDVAE」(1)を選択。
使用したいVAEを選択したら(2)の設定を適用を選択。
最後に(3)のUIの再読み込みを選択して設定完了。
VAEの使い方
VAEを設定しない場合、色使いにむらがあります。
実写系はvae-ft-840000-ema-prunedを使う場合が多いです。
イラスト系はkL-f8-anime2を使用しています。
まとめ
【VAEの効果と使用について】 VAEを使用することで、画像のデコードが向上し、細部の再現がより良くなります。
特に目やテキストの生成に影響を与えます。
例えば、Stability AIによって提供されているEMAとMSEの2つのVAEデコーダーは、それぞれ鮮明な画像と滑らかな画像を生成します
ただし、VAEの効果は使用する画像サイズやモデルによって異なる場合があります。
512×512の画像を使用した場合、小さな顔が含まれる画像において、特に目の再現に改善が見られることが報告されています。
テキストの生成に関しては、効果がはっきりしないこともあります。
VAEはすでにデフォルトで組み込まれている場合もありますが、モデルのトレーナーが追加のデータでVAEをさらにファインチューンして改善したバージョンが提供されていることもあります。
VAEの使用は必須ではありませんが、より良い結果を得るために細部まで改善したい場合に有効です。既に画質に満足している場合は使用する必要はありません。
コメント