GitHub - axolotl-ai-cloud/axolotl: 继续提出关于蝾螈的问题

主要观点:

  • 介绍了 Axolotl 及其相关信息,包括图标、许可证等。
  • 详细列出了最新更新内容,如添加对 Magistral、Quantization Aware Training 等的支持等。
  • 概述了 Axolotl 的特点,如支持多种模型、多种训练方法、易配置、性能优化等。
  • 提供了快速开始的步骤,包括安装方法(pip 和 Docker)以及首次微调的示例。
  • 介绍了文档相关内容,如各种文档的链接。
  • 提供了获取帮助的方式,如加入 Discord 社区、查看示例等。
  • 鼓励贡献,并介绍了贡献指南。
  • 列出了赞助商,如 Modal 等。
  • 提及了许可证为 Apache 2.0 。

关键信息和重要细节:

  • 图标为 https://raw.githubusercontent...
  • 许可证文件为 https://github.com/axolotl-ai...
  • 最新更新时间为 2025 年,包括对多种模型和技术的支持添加。
  • 支持的模型有 LLaMA、Mistral、Mixtral、Pythia 等,兼容 HuggingFace 转换器因果语言模型。
  • 训练方法有全微调、LoRA、QLoRA、GPTQ、QAT、偏好调优、RL、多模态、奖励建模等。
  • 安装要求有 NVIDIA GPU(Ampere 或更新版本用于bf16和 Flash Attention)或 AMD GPU、Python 3.11、PyTorch≥2.6.0 。
  • 安装方法有使用 pip(安装axolotl\[flash-attn,deepspeed\]等)和使用 Docker(docker run --gpus '"all"' --rm -it axolotlai/axolotl:main-latest)。
  • 快速开始示例有获取示例和训练模型(如axolotl train examples/llama-3/lora-1b.yml)。
  • 文档包含安装选项、配置指南、数据集加载等多个方面的内容。
  • 获取帮助的方式有加入 Discord 社区、查看示例、阅读调试指南、联系[✉️mailto:wing@axolotl.ai]。
  • 赞助商有 Modal 等,可联系[mailto:wing@axolotl.ai]赞助。
阅读 18
0 条评论