Merge branch 'main' of https://github.com/xianghuisun/BELLE into main

dellinbcg · May 12, 2023 · 47a6a98 · 47a6a98
2 parents 0476426 + d7309fc
commit 47a6a98
Showing 1 changed file with 1 addition and 1 deletion.
diff --git a/train/docs/FAQ.md b/train/docs/FAQ.md
@@ -38,7 +38,7 @@
 这里给出一些实验建议：
 
 1. 不开deepspeed会占用更多显存，建议全量参数finetune模式尽可能采用deepspeed
-2. lora训练采用8bit量化训练，不采用deepspeed
+2. LoRA训练如果采用8bit量化，就不能使用deepspeed；如果使用deepspeed，就不能指定use_int8_training
 
 关于deepspeed的配置可参考：