LLaMA-Factory

LLaMA-Factory 是一个高效的大型语言模型（LLM）微调平台，旨在简化和加速模型的微调过程。以下是一些关键特点：

1. 多样的模型支持：LLaMA-Factory 支持多种预训练模型，包括 LLaMA、LLaVA、Mistral、Mixtral-MoE、Qwen、Yi、Gemma、Baichuan、ChatGLM、Phi 等等¹²。

2. 多种训练方法：平台集成了多种训练方法，如增量预训练、多模态监督微调、奖励模型训练、PPO 训练、DPO 训练等¹²。

3. 高效的资源利用：支持 16-bit 全参数微调、冻结微调、LoRA 微调以及基于 AQLM/AWQ/GPTQ/LLM.int8/HQQ/EETQ 的 2/3/4/5/6/8-bit QLoRA 微调¹²。

4. 优化算法：包括 GaLore、BAdam、DoRA、LongLoRA、LLaMA Pro、Mixture-of-Depths、LoRA+、LoftQ 和 PiSSA 等¹²。

5. 实验监控：提供 LlamaBoard、TensorBoard、Wandb、MLflow 等实验监控工具¹²。

6. 推理引擎：支持 Transformers 和 vLLM 推理引擎，提供 OpenAI 风格的 API、Gradio UI 和 CLI¹²。

你可以在 GitHub 上找到更多关于 LLaMA-Factory 的详细信息和使用指南¹。如果你有具体的问题或需要进一步的帮助，随时告诉我！