Python环境管理
LLaMA-Factory Online为您提供详细的环境配置指南,帮助您正确设置和使用运行环境,有效避免实例启动失败等问题。同时,指南还可以帮助您根据需求灵活管理和配置自定义环境,具体操作详见下文。
前提条件
- 您已经获取LLaMA-Factory Online账户和密码,如果需要帮助或尚未注册,可参考注册账户完成注册。
- 当前账号的余额充裕,可满足实例启动的需要。
环境概览
初始Python环境包含的组件及其详细说明请见下表,您可据此了解平台的基本配置。
类别 | 组件(含版本) | 说明 |
---|---|---|
深度学习框架 | torch==2.7.1 , torchaudio==2.7.1 , torchvision==0.22.1 | PyTorch 2.7为核心,支撑模型训练与推理计算。 |
模型架构与分词 | transformers==4.55.0 , tokenizers==0.21.1 , sentencepiece==0.2.0 | Hugging Face核心库,支持主流LLM与分词处理。 |
参数高效微调 | peft==0.15.2 , unsloth==2025.6.6 | 支持LoRA等轻量化微调,提升训练效率。 |
分布式训练 | accelerate==1.7.0 , deepspeed==0.16.9 | 实现多GPU/节点训练,优化显存与速度。 |
推理加速引擎 | vllm==0.10.0 , flash-attn , sglang==0.4.8.post1 | 提供高吞吐、低延迟的生成式推理能力。 |
操作步骤
查看默认环境
-
使用已注册的LLaMA Factory Online账号登录平台,选择[实例空间]菜单项,进入实例空间页面,例如下图所示。单击“开始微调”进入资源配置页面。
-
根据需求,选择相应的配置资源规格(GPU或CPU)以及卡数,点击“启动”按钮即可启动实例。
-
以启动GPU实例为例,启动后页面如下图所示。单击“Terminal”菜单项,已进入终端页面。
在JupyterLab工作空间中,用户可通过Conda创建和管理多个Python环境。这些环境将被创建在envs
目录下的独立文件夹中。其中,envs
目录下的“If_pkgs”文件夹用于存储默认Python环境(lf)的增量依赖包。
- 系统启动实例时默认使用
lf
虚拟环境。 - 若在使用WebUI训练模型时缺少依赖包,您可在终端的默认
lf
虚拟环境中安装所需包。增量依赖将自动安装至“lf_pkgs”文件夹,而lf
环境的默认依赖位于/opt/conda/envs/lf/
目录中。 - 若因在
lf
虚拟环境中安装自定义依赖导致实例无法正常启动,可点击例如下图所示“重置环境并启动”按钮,系统将恢复初始环境(自动删除“lf_pkgs”中的增量依赖包)。 - 如您不需要使用默认
lf
虚拟环境复现项目或者论文,建议自定义新Python虚拟环境,自定义环境步骤可参看自定义环境。
-
在终端执行
conda env list
命令,可查看Conda环境列表。其中标有“*”的环境为当前激活的默认环境。如下图所示,“If”环境即为当前默认的Conda环境。
自定义环境
用户如果要安装自定义依赖包,可根据需求创建新的Python环境,步骤如下:
-
使用已注册的LLaMA Factory Online账号登录平台,选择[实例空间]菜单项,进入实例空间页面,例如下图所示。单击“开始微调”进入资源配置页面。
-
根据需求,选择相应的配置资源规格(GPU或CPU)以及卡数,点击“启动”按钮即可启动实例。
-
以启动GPU实例为例,启动后页面如下图所示。单击“Terminal”菜单项,已进入终端页面。
-
在终端运行如下命令创建新环境。用户可根据需求命名和选择合适的python版本。
conda create -n [name] python=[vision]
提示本示例创建了一个名称为"test",python版本为3.11的新环境,故:
[name]:test
[vision]:3.11 -
下载完成后,可以看到envs目录下会新增一个“test”文件夹,例如下图所示。运行如下所示的命令可切换到
test
环境。conda activate [name]
提示本示例创建的新环境名称为"test",故:
[name]:test可以使用命令下载您需要的工具。(以下载用于python数据分析的pandas工具包为例)
conda install pandas
信息- 可以在终端输入以下命令,查看 conda 的所有命令列表:
conda --help
- 或者只看子命令列表:
conda list
- 如果想看某个命令的详细用法,比如环境相关:
conda env --help
- 可以在终端输入以下命令,查看 conda 的所有命令列表: