This repository contains training, generation and utility scripts for Stable Diffusion.

Change History is moved to the bottom of the page. 更新履歴はページ末尾に移しました。

日本語版READMEはこちら

For easier use (GUI and PowerShell scripts etc...), please visit the repository maintained by bmaltais. Thanks to @bmaltais!

This repository contains the scripts for:

• DreamBooth training, including U-Net and Text Encoder
• Fine-tuning (native training), including U-Net and Text Encoder
• LoRA training
• Textual Inversion training
• Image generation
• Model conversion (supports 1.x and 2.x, Stable Diffision ckpt/safetensors and Diffusers)

About requirements.txt

The file does not contain requirements for PyTorch. Because the version of PyTorch depends on the environment, it is not included in the file. Please install PyTorch first according to the environment. See installation instructions below.

The scripts are tested with Pytorch 2.1.2. 2.0.1 and 1.12.1 is not tested but should work.

Links to usage documentation

Most of the documents are written in Japanese.

English translation by darkstorm2150 is here. Thanks to darkstorm2150!

• Training guide - common : data preparation, options etc...
  • Chinese version
• SDXL training (English version)
• Dataset config
  • English version
• DreamBooth training guide
• Step by Step fine-tuning guide:
• Training LoRA
• Training Textual Inversion
• Image generation
• note.com Model conversion

Windows Required Dependencies

Python 3.10.6 and Git:

• Python 3.10.6: https://www.python.org/ftp/python/3.10.6/python-3.10.6-amd64.exe
• git: https://git-scm.com/download/win

Give unrestricted script access to powershell so venv can work:

• Open an administrator powershell window
• Type Set-ExecutionPolicy Unrestricted and answer A
• Close admin powershell window

Windows Installation

Open a regular Powershell terminal and type the following inside:

git clone https://github.com/kohya-ss/sd-scripts.git
cd sd-scripts

python -m venv venv
.\venv\Scripts\activate

pip install torch==2.1.2 torchvision==0.16.2 --index-url https://download.pytorch.org/whl/cu118
pip install --upgrade -r requirements.txt
pip install xformers==0.0.23.post1 --index-url https://download.pytorch.org/whl/cu118

accelerate config

If python -m venv shows only python, change python to py.

Note: Now bitsandbytes==0.43.0, prodigyopt==1.0 and lion-pytorch==0.0.6 are included in the requirements.txt. If you'd like to use the another version, please install it manually.

This installation is for CUDA 11.8. If you use a different version of CUDA, please install the appropriate version of PyTorch and xformers. For example, if you use CUDA 12, please install pip install torch==2.1.2 torchvision==0.16.2 --index-url https://download.pytorch.org/whl/cu121 and pip install xformers==0.0.23.post1 --index-url https://download.pytorch.org/whl/cu121.

Answers to accelerate config:

- This machine
- No distributed training
- NO
- NO
- NO
- all
- fp16

If you'd like to use bf16, please answer bf16 to the last question.

Note: Some user reports ValueError: fp16 mixed precision requires a GPU is occurred in training. In this case, answer 0 for the 6th question: What GPU(s) (by id) should be used for training on this machine as a comma-separated list? [all]:

(Single GPU with id 0 will be used.)

Upgrade

When a new release comes out you can upgrade your repo with the following command:

cd sd-scripts
git pull
.\venv\Scripts\activate
pip install --use-pep517 --upgrade -r requirements.txt

Once the commands have completed successfully you should be ready to use the new version.

Credits

The implementation for LoRA is based on cloneofsimo's repo. Thank you for great work!

The LoRA expansion to Conv2d 3x3 was initially released by cloneofsimo and its effectiveness was demonstrated at LoCon by KohakuBlueleaf. Thank you so much KohakuBlueleaf!

License

The majority of scripts is licensed under ASL 2.0 (including codes from Diffusers, cloneofsimo's and LoCon), however portions of the project are available under separate license terms:

Memory Efficient Attention Pytorch: MIT

bitsandbytes: MIT

BLIP: BSD-3-Clause

Change History

Masked loss

train_network.py, sdxl_train_network.py and sdxl_train.py now support the masked loss. --masked_loss option is added.

NOTE: train_network.py and sdxl_train.py are not tested yet.

ControlNet dataset is used to specify the mask. The mask images should be the RGB images. The pixel value 255 in R channel is treated as the mask (the loss is calculated only for the pixels with the mask), and 0 is treated as the non-mask. See details for the dataset specification in the LLLite documentation.

Working in progress

• Colab seems to stop with log output. Try specifying --console_log_simple option in the training script to disable rich logging.

• The .toml file for the dataset config is now read in UTF-8 encoding. PR #1167 Thanks to Horizon1704!

• Fixed a bug that the last subset settings are applied to all images when multiple subsets of regularization images are specified in the dataset settings. The settings for each subset are correctly applied to each image. PR #1205 Thanks to feffy380!

• train_network.py and sdxl_train_network.py are modified to record some dataset settings in the metadata of the trained model (caption_prefix, caption_suffix, keep_tokens_separator, secondary_separator, enable_wildcard).

• Some features are added to the dataset subset settings.

  • secondary_separator is added to specify the tag separator that is not the target of shuffling or dropping.
    • Specify secondary_separator=";;;". When you specify secondary_separator, the part is not shuffled or dropped.
  • enable_wildcard is added. When set to true, the wildcard notation {aaa|bbb|ccc} can be used. The multi-line caption is also enabled.
  • keep_tokens_separator is updated to be used twice in the caption. When you specify keep_tokens_separator="|||", the part divided by the second ||| is not shuffled or dropped and remains at the end.
  • The existing features caption_prefix and caption_suffix can be used together. caption_prefix and caption_suffix are processed first, and then enable_wildcard, keep_tokens_separator, shuffling and dropping, and secondary_separator are processed in order.
  • See Dataset config for details.

• The support for v3 repositories is added to tag_image_by_wd14_tagger.py (--onnx option only). PR #1192 Thanks to sdbds!

  • Onnx may need to be updated. Onnx is not installed by default, so please install or update it with pip install onnx==1.15.0 onnxruntime-gpu==1.17.1 etc. Please also check the comments in requirements.txt.

• The model is now saved in the subdirectory as --repo_id in tag_image_by_wd14_tagger.py . This caches multiple repo_id models. Please delete unnecessary files under --model_dir.

• The options --noise_offset_random_strength and --ip_noise_gamma_random_strength are added to each training script. These options can be used to vary the noise offset and ip noise gamma in the range of 0 to the specified value. PR #1177 Thanks to KohakuBlueleaf!

• The options --save_state_on_train_end are added to each training script. PR #1168 Thanks to gesen2egee!

• The options --sample_every_n_epochs and --sample_every_n_steps in each training script now display a warning and ignore them when a number less than or equal to 0 is specified. Thanks to S-Del for raising the issue.

• The English version of the dataset settings documentation is added. PR #1175 Thanks to darkstorm2150!

• Colab での動作時、ログ出力で停止してしまうようです。学習スクリプトに --console_log_simple オプションを指定し、rich のロギングを無効してお試しください。

• データセット設定の .toml ファイルが UTF-8 encoding で読み込まれるようになりました。PR #1167 Horizon1704 氏に感謝します。

• データセット設定で、正則化画像のサブセットを複数指定した時、最後のサブセットの各種設定がすべてのサブセットの画像に適用される不具合が修正されました。それぞれのサブセットの設定が、それぞれの画像に正しく適用されます。PR #1205 feffy380 氏に感謝します。

• train_network.py および sdxl_train_network.py で、学習したモデルのメタデータに一部のデータセット設定が記録されるよう修正しました（caption_prefix、caption_suffix、keep_tokens_separator、secondary_separator、enable_wildcard）。

• データセットのサブセット設定にいくつかの機能を追加しました。

  • シャッフルの対象とならないタグ分割識別子の指定 secondary_separator を追加しました。secondary_separator=";;;" のように指定します。secondary_separator で区切ることで、その部分はシャッフル、drop 時にまとめて扱われます。
  • enable_wildcard を追加しました。true にするとワイルドカード記法 {aaa|bbb|ccc} が使えます。また複数行キャプションも有効になります。
  • keep_tokens_separator をキャプション内に 2 つ使えるようにしました。たとえば keep_tokens_separator="|||" と指定したとき、1girl, hatsune miku, vocaloid ||| stage, mic ||| best quality, rating: general とキャプションを指定すると、二番目の ||| で分割された部分はシャッフル、drop されず末尾に残ります。
  • 既存の機能 caption_prefix と caption_suffix とあわせて使えます。caption_prefix と caption_suffix は一番最初に処理され、その後、ワイルドカード、keep_tokens_separator、シャッフルおよび drop、secondary_separator の順に処理されます。
  • 詳細は データセット設定 をご覧ください。

• tag_image_by_wd14_tagger.py で v3 のリポジトリがサポートされました（--onnx 指定時のみ有効）。 PR #1192 sdbds 氏に感謝します。

  • Onnx のバージョンアップが必要になるかもしれません。デフォルトでは Onnx はインストールされていませんので、pip install onnx==1.15.0 onnxruntime-gpu==1.17.1 等でインストール、アップデートしてください。requirements.txt のコメントもあわせてご確認ください。

• tag_image_by_wd14_tagger.py で、モデルを--repo_id のサブディレクトリに保存するようにしました。これにより複数のモデルファイルがキャッシュされます。--model_dir 直下の不要なファイルは削除願います。

• 各学習スクリプトに、noise offset、ip noise gammaを、それぞれ 0~指定した値の範囲で変動させるオプション --noise_offset_random_strength および --ip_noise_gamma_random_strength が追加されました。 PR #1177 KohakuBlueleaf 氏に感謝します。

• 各学習スクリプトに、学習終了時に state を保存する --save_state_on_train_end オプションが追加されました。 PR #1168 gesen2egee 氏に感謝します。

• 各学習スクリプトで --sample_every_n_epochs および --sample_every_n_steps オプションに 0 以下の数値を指定した時、警告を表示するとともにそれらを無視するよう変更しました。問題提起していただいた S-Del 氏に感謝します。

• データセット設定の英語版ドキュメント が追加されました。PR #1175 darkstorm2150 氏に感謝します。

Mar 15, 2024 / 2024/3/15: v0.8.5

• Fixed a bug that the value of timestep embedding during SDXL training was incorrect.

  • Please update for SDXL training.
  • The inference with the generation script is also fixed.
  • This fix appears to resolve an issue where unintended artifacts occurred in trained models under certain conditions. We would like to express our deep gratitude to Mark Saint (cacoe) from leonardo.ai, for reporting the issue and cooperating with the verification, and to gcem156 for the advice provided in identifying the part of the code that needed to be fixed.

• SDXL 学習時の timestep embedding の値が誤っていたのを修正しました。

  • SDXL の学習時にはアップデートをお願いいたします。
  • 生成スクリプトでの推論時についてもあわせて修正しました。
  • この修正により、特定の条件下で学習されたモデルに意図しないアーティファクトが発生する問題が解消されるようです。問題を報告いただき、また検証にご協力いただいた leonardo.ai の Mark Saint (cacoe) 氏、および修正点の特定に関するアドバイスをいただいた gcem156 氏に深く感謝いたします。

Feb 24, 2024 / 2024/2/24: v0.8.4

• The log output has been improved. PR #905 Thanks to shirayu!

  • The log is formatted by default. The rich library is required. Please see Upgrade and update the library.
  • If rich is not installed, the log output will be the same as before.
  • The following options are available in each training script:
  • --console_log_simple option can be used to switch to the previous log output.
  • --console_log_level option can be used to specify the log level. The default is INFO.
  • --console_log_file option can be used to output the log to a file. The default is None (output to the console).

• The sample image generation during multi-GPU training is now done with multiple GPUs. PR #1061 Thanks to DKnight54!

• The support for mps devices is improved. PR #1054 Thanks to akx! If mps device exists instead of CUDA, the mps device is used automatically.

• The --new_conv_rank option to specify the new rank of Conv2d is added to networks/resize_lora.py. PR #1102 Thanks to mgz-dev!

• An option --highvram to disable the optimization for environments with little VRAM is added to the training scripts. If you specify it when there is enough VRAM, the operation will be faster.

  • Currently, only the cache part of latents is optimized.

• The IPEX support is improved. PR #1086 Thanks to Disty0!

• Fixed a bug that svd_merge_lora.py crashes in some cases. PR #1087 Thanks to mgz-dev!

• DyLoRA is fixed to work with SDXL. PR #1126 Thanks to tamlog06!

• The common image generation script gen_img.py for SD 1/2 and SDXL is added. The basic functions are the same as the scripts for SD 1/2 and SDXL, but some new features are added.

  • External scripts to generate prompts can be supported. It can be called with --from_module option. (The documentation will be added later)
  • The normalization method after prompt weighting can be specified with --emb_normalize_mode option. original is the original method, abs is the normalization with the average of the absolute values, none is no normalization.

• Gradual Latent Hires fix is added to each generation script. See here for details.

• ログ出力が改善されました。 PR #905 shirayu 氏に感謝します。

  • デフォルトでログが成形されます。rich ライブラリが必要なため、Upgrade を参照し更新をお願いします。
  • rich がインストールされていない場合は、従来のログ出力になります。
  • 各学習スクリプトでは以下のオプションが有効です。
  • --console_log_simple オプションで従来のログ出力に切り替えられます。
  • --console_log_level でログレベルを指定できます。デフォルトは INFO です。
  • --console_log_file でログファイルを出力できます。デフォルトは None（コンソールに出力） です。

• 複数 GPU 学習時に学習中のサンプル画像生成を複数 GPU で行うようになりました。 PR #1061 DKnight54 氏に感謝します。

• mps デバイスのサポートが改善されました。 PR #1054 akx 氏に感謝します。CUDA ではなく mps が存在する場合には自動的に mps デバイスを使用します。

• networks/resize_lora.py に Conv2d の新しいランクを指定するオプション --new_conv_rank が追加されました。 PR #1102 mgz-dev 氏に感謝します。

• 学習スクリプトに VRAMが少ない環境向け最適化を無効にするオプション --highvram を追加しました。VRAM に余裕がある場合に指定すると動作が高速化されます。

  • 現在は latents のキャッシュ部分のみ高速化されます。

• IPEX サポートが改善されました。 PR #1086 Disty0 氏に感謝します。

• svd_merge_lora.py が場合によってエラーになる不具合が修正されました。 PR #1087 mgz-dev 氏に感謝します。

• DyLoRA が SDXL で動くよう修正されました。PR #1126 tamlog06 氏に感謝します。

• SD 1/2 および SDXL 共通の生成スクリプト gen_img.py を追加しました。基本的な機能は SD 1/2、SDXL 向けスクリプトと同じですが、いくつかの新機能が追加されています。

  • プロンプトを動的に生成する外部スクリプトをサポートしました。 --from_module で呼び出せます。（ドキュメントはのちほど追加します）
  • プロンプト重みづけ後の正規化方法を --emb_normalize_mode で指定できます。original は元の方法、abs は絶対値の平均値で正規化、none は正規化を行いません。

• Gradual Latent Hires fix を各生成スクリプトに追加しました。詳細は こちら。

Jan 27, 2024 / 2024/1/27: v0.8.3

• Fixed a bug that the training crashes when --fp8_base is specified with --save_state. PR #1079 Thanks to feffy380!

  • safetensors is updated. Please see Upgrade and update the library.

• Fixed a bug that the training crashes when network_multiplier is specified with multi-GPU training. PR #1084 Thanks to fireicewolf!

• Fixed a bug that the training crashes when training ControlNet-LLLite.

• --fp8_base 指定時に --save_state での保存がエラーになる不具合が修正されました。 PR #1079 feffy380 氏に感謝します。

  • safetensors がバージョンアップされていますので、Upgrade を参照し更新をお願いします。

• 複数 GPU での学習時に network_multiplier を指定するとクラッシュする不具合が修正されました。 PR #1084 fireicewolf 氏に感謝します。

• ControlNet-LLLite の学習がエラーになる不具合を修正しました。

Please read Releases for recent updates. 最近の更新情報は Release をご覧ください。

Additional Information

Naming of LoRA

The LoRA supported by train_network.py has been named to avoid confusion. The documentation has been updated. The following are the names of LoRA types in this repository.

1. LoRA-LierLa : (LoRA for Li n e a r La yers)

   LoRA for Linear layers and Conv2d layers with 1x1 kernel

2. LoRA-C3Lier : (LoRA for C olutional layers with 3 x3 Kernel and Li n e a r layers)

   In addition to 1., LoRA for Conv2d layers with 3x3 kernel

LoRA-LierLa is the default LoRA type for train_network.py (without conv_dim network arg). LoRA-LierLa can be used with our extension for AUTOMATIC1111's Web UI, or with the built-in LoRA feature of the Web UI.

To use LoRA-C3Lier with Web UI, please use our extension.

LoRAの名称について

train_network.py がサポートするLoRAについて、混乱を避けるため名前を付けました。ドキュメントは更新済みです。以下は当リポジトリ内の独自の名称です。

1. LoRA-LierLa : (LoRA for Li n e a r La yers、リエラと読みます)

   Linear 層およびカーネルサイズ 1x1 の Conv2d 層に適用されるLoRA

2. LoRA-C3Lier : (LoRA for C olutional layers with 3 x3 Kernel and Li n e a r layers、セリアと読みます)

   1.に加え、カーネルサイズ 3x3 の Conv2d 層に適用されるLoRA

LoRA-LierLa はWeb UI向け拡張、またはAUTOMATIC1111氏のWeb UIのLoRA機能で使用することができます。

LoRA-C3Lierを使いWeb UIで生成するには拡張を使用してください。

Sample image generation during training

A prompt file might look like this, for example

# prompt 1
masterpiece, best quality, (1girl), in white shirts, upper body, looking at viewer, simple background --n low quality, worst quality, bad anatomy,bad composition, poor, low effort --w 768 --h 768 --d 1 --l 7.5 --s 28

# prompt 2
masterpiece, best quality, 1boy, in business suit, standing at street, looking back --n (low quality, worst quality), bad anatomy,bad composition, poor, low effort --w 576 --h 832 --d 2 --l 5.5 --s 40

Lines beginning with # are comments. You can specify options for the generated image with options like --n after the prompt. The following can be used.

• --n Negative prompt up to the next option.
• --w Specifies the width of the generated image.
• --h Specifies the height of the generated image.
• --d Specifies the seed of the generated image.
• --l Specifies the CFG scale of the generated image.
• --s Specifies the number of steps in the generation.

The prompt weighting such as ( ) and [ ] are working.

サンプル画像生成

プロンプトファイルは例えば以下のようになります。

# prompt 1
masterpiece, best quality, (1girl), in white shirts, upper body, looking at viewer, simple background --n low quality, worst quality, bad anatomy,bad composition, poor, low effort --w 768 --h 768 --d 1 --l 7.5 --s 28

# prompt 2
masterpiece, best quality, 1boy, in business suit, standing at street, looking back --n (low quality, worst quality), bad anatomy,bad composition, poor, low effort --w 576 --h 832 --d 2 --l 5.5 --s 40

# で始まる行はコメントになります。--n のように「ハイフン二個＋英小文字」の形でオプションを指定できます。以下が使用可能できます。

• --n Negative prompt up to the next option.
• --w Specifies the width of the generated image.
• --h Specifies the height of the generated image.
• --d Specifies the seed of the generated image.
• --l Specifies the CFG scale of the generated image.
• --s Specifies the number of steps in the generation.

( ) や [ ] などの重みづけも動作します。