LLms_finetuning

弃坑了，不再维护了，打工仔没事时间写开源代码。 /苦笑

致力于用简洁的代码实现对现有大模型（chatGLM1/2、BaiChuan、QWen、Internlm、Llama等）的训练、推理和部署。

仓库正在初步构件中......

支持模型

• chatGLM1/2
• Internlm
• BaiChuan
• QWen
• Llama

支持训练方式

• 8bit QLora
• 4bit QLora
• Lora
• Pre-traing

微调方式

1. 修改 train.py文件中的FinetuneArguments 和 TrainingArguments

2. 运行train.py文件

如下：

python train.py