Simple Python library/structure to ablate features in LLMs which are supported by TransformerLens

Unified Efficient Fine-Tuning of 100+ LLMs (ACL 2024)

DeepSeek LLM: Let there be answers

Llama3-Chinese是以Meta-Llama-3-8B为底座，使用 DORA + LORA+ 的训练方法，在50w高质量中文多轮SFT数据 + 10w英文多轮SFT数据 + 2000单轮自我认知数据训练而来的大模型。