青龙圣者的训练脚本训练Fluxlora

下载

通过网盘分享的文件：qinglong_trainer_21.zip 链接: pan.baidu /s/12JL1c-gwTR5zzqHAPNleRA?pwd=7860 提取码: 7860

搭建python环境 conda create -n qinglong python==3.10.14 -y conda activate qinglong cd qinglong_trainer_21 pip install -r sd-scripts/requirements.txt pip install triton==3.1.0

注意包的版本，因为安装文件没有指定版本，所以 最好使用版本修正。

训练脚本

修改模型和数据路径

/home/syh/.conda/envs/qinglong/bin/python ./sd-scripts/flux_train_network.py \ accelerate launch --num_cpu_threads_per_process=2 ./sd-scripts/flux_train_network.py \ --pretrained_model_name_or_path="/work/stable-diffusion-webui-docker/data/models/unet/flux1-dev-fp8.safetensors" \ --ae="/work/stable-diffusion-webui-docker/data/models/vae/flux-ae.sft" \ --clip_l="/work/stable-diffusion-webui-docker/data/models/clip/clip_l.safetensors" \ --t5xxl="/work/stable-diffusion-webui-docker/data/models/clip/t5xxl_fp16.safetensors" \ --output_dir="./output" \ --logging_dir="./logs" \ --train_data_dir="./train/syh/train" \ --max_train_epochs=5 \ --learning_rate=1e-5 \ --output_name=flux-test-lora24G \ --save_every_n_epochs=1 \ --save_precision=bf16 \ --seed=1026 \ --max_token_length=225 \ --caption_extension=.txt \ --vae_batch_size=4 \ --apply_t5_attn_mask \ --discrete_flow_shift=3.185 \ --timestep_sampling=flux_shift \ --sigmoid_scale=1 \ --model_prediction_type=raw \ --guidance_scale=1 \ --guidance_rescale \ --cache_text_encoder_outputs \ --cache_text_encoder_outputs_to_disk \ --sdpa \ --train_batch_size=2 \ --resolution=1024,1024 \ --enable_bucket \ --min_bucket_reso=256 \ --max_bucket_reso=2048 \ --bucket_no_upscale \ --save_model_as=safetensors \ --clip_skip=2 \ --network_dim=32 \ --network_alpha=32 \ --persistent_data_loader_workers \ --cache_latents \ --cache_latents_to_disk \ --gradient_checkpointing \ --optimizer_type=PagedAdamW8bit \ --optimizer_args weight_decay=0.01 betas=0.9,0.95 \ --unet_lr=8e-4 \ --text_encoder_lr=1e-5 \ --keep_tokens=1 \ --fp8_base_unet \ --mixed_precision=bf16 \ --network_module=networks.lora_flux \ --gradient_accumulation_steps=1 \ --lr_scheduler=cosine_with_min_lr \ --lr_scheduler_num_cycles=2 \ --lr_decay_steps=0.5 \ --lr_scheduler_min_lr_ratio=0.1

更新到最新的

git clone github /kohya-ss/sd-scripts.git git checkout sd3 accelerate launch --num_cpu_threads_per_process=2 ./sd-scripts/flux_train_network.py \ --pretrained_model_name_or_path="/work/stable-diffusion-webui-docker/data/models/unet/flux1-dev-fp8.safetensors" \ --ae="/work/stable-diffusion-webui-docker/data/models/vae/flux-ae.sft" \ --clip_l="/work/stable-diffusion-webui-docker/data/models/clip/clip_l.safetensors" \ --t5xxl="/work/stable-diffusion-webui-docker/data/models/clip/t5xxl_fp16.safetensors" \ --output_dir="./output" \ --logging_dir="./logs" \ --train_data_dir="./train/syh/train" \ --max_train_epochs=5 \ --learning_rate=1e-5 \ --output_name=flux-test-lora24G \ --save_every_n_epochs=1 \ --save_precision=bf16 \ --seed=1026 \ --max_token_length=225 \ --caption_extension=.txt \ --vae_batch_size=4 \ --apply_t5_attn_mask \ --discrete_flow_shift=3.185 \ --timestep_sampling=flux_shift \ --sigmoid_scale=1 \ --model_prediction_type=raw \ --cache_text_encoder_outputs \ --cache_text_encoder_outputs_to_disk \ --sdpa \ --train_batch_size=2 \ --resolution=1024,1024 \ --enable_bucket \ --min_bucket_reso=256 \ --max_bucket_reso=2048 \ --bucket_no_upscale \ --save_model_as=safetensors \ --clip_skip=2 \ --network_dim=32 \ --network_alpha=32 \ --persistent_data_loader_workers \ --cache_latents \ --cache_latents_to_disk \ --gradient_checkpointing \ --optimizer_type=PagedAdamW8bit \ --optimizer_args weight_decay=0.01 betas=0.9,0.95 \ --unet_lr=8e-4 \ --text_encoder_lr=1e-5 \ --keep_tokens=1 \ --fp8_base_unet \ --mixed_precision=bf16 \ --network_module=networks.lora_flux \ --gradient_accumulation_steps=1 \ --lr_scheduler=cosine_with_min_lr \ --lr_scheduler_num_cycles=2 \ --lr_decay_steps=0.5 \ --lr_scheduler_min_lr_ratio=0.1