悬浮操作框
VSCode和JupyterLab提供悬浮操作框,支持一键切换编辑器、关机、重置资产、对外服务等功能。
前提条件
- 您已经获取LLama Factory Online账户和密码,如果需要帮助或尚未注册,可参考注册账户完成注册。
- 当前账号的余额充裕,可满足模型微调服务的需要。点击可了解最新的活动及费用信息,或前往充值,如需了解更多请联系我们。
概览
在实例空间页面,点击“开始微调”后,进入中间的“VSCode处理专属数据”,或者右侧的“JupyterLab处理专属数据”,都能在页面上看到悬浮操作框。如下图所示,具体功能见下表。
序号 | 功能说明 |
---|---|
① | 点击可移动悬浮操作框。 |
② | 点击可在VScode和JupyterLab间切换。 |
③ | 对外服务按钮,支持外部访问。 |
④ | 关机按钮,点击关闭实例。 |
⑤ | 显示使用的资源类型及数量。 |
⑥ | 显示存储空间占用情况。 |
⑦ | 点击可重新进行资源配置。 |
操作步骤
对外服务支持用户从外部访问实例空间内的自定义服务。下面以外部服务访问Open-webui为例,在VScode页面中的展示该功能操作步骤。(Jupyter Lab中的操作步骤与在VScode中一致。)
-
在实例空间页面,点击“开始微调”后,进行资源配置,选择GPU 1卡。
点击中间的“VSCode处理专属数据”进入VScode页面。点击左上角“Terminal”新建终端。 -
创建一个新的conda环境。(新环境名称为:open-webui,python版本为:3.11)
conda create -n open-webui python=3.11 -y
-
激活环境。
conda activate open-webui
-
安装open-webui。
pip install open-webui itsdangerous -i https://pypi.tuna.tsinghua.edu.cn/simple/
-
启动open-webui。启动速度较慢,请耐心等待。
open-webui serve --host 0.0.0.0 --port 6666
-
启动成功后,点击悬浮操作框的“对外服务按钮”,复制地址。新开一个浏览器网页,将地址复制到地址框,实现外部访问open-webui。 可注册用户名和密码后登录。
提示环境中还未下载模型,无法进行模型对话。
-
(可选)使用open-webui进行模型对话。
- 下载Ollama。 回到vscode页面,按“ctrl+c”退出步骤5的命令。输入以下命令,下载Ollama。
curl -fsSL https://ollama.com/install.sh | sh
- 启动Ollama服务。
ollama serve
- 新建一个终端,进入open-webui环境,启动模型(以gpt-oss-20b为例)。
conda activate open-webui
ollama run gpt-oss:20b
- 再新建一个终端,进入open-webui环境,启动open-webUI。
conda activate open-webui
open-webui serve --host 0.0.0.0 --port 6666
- 启动成功后,点击悬浮操作框的“对外服务按钮”,复制地址。新开一个浏览器网页,将地址复制到地址框,实现外部访问open-webui。使用步骤6中注册的用户名和密码登录账户。在页面左上角选择模型:gpt-oss-20b,开始对话。
- 下载Ollama。 回到vscode页面,按“ctrl+c”退出步骤5的命令。输入以下命令,下载Ollama。