⚡Megatron LLM Hub
←返回搜索
Website

实操记录:租 GPU 服务器、WSL、传输与 tmux 搭模型训练环境。

工具llm训练
前言 本文主要整理模型训练过程中,除模型本身以外的一些实用技巧。 姑且将 AI 系列后续内容分为以下 4 个部分: 学术篇: LLM 基础知识、模型训练、各类算法的原理与实现等。 开发篇: Agent 框架、各类 AI 应用的开发等。 运维篇: Agent 应用的部署、推理参数测试等。 杂项: AI 渗透、视频生成、音频生成、超分辨率等其他内容。 目前已经基本跑通了整个训练流程,但测试结果、Loss 展示等内容还需要进一步完善。这里先记录训练过程中用到的一些工具和操作,方便后续复现与参考。 主要包括:租用训练服务器、Windows WSL 安装、文件压缩与解压、文件上传与下载、硬件利用情况监测,以及使用 tmux 创建训练会话。 1. 租服务器 我的电脑毕竟只是一台笔记本,要用它跑模型训练还是有些勉强。因此,租用服务器就成了一个比较实际的选择(土豪除外)。 服务器租用平台有很多,例如阿里云等厂商也提供相关服务。不过,我对这方面接触不多,这次使用的是 AutoDL 算力云 。 它的一个优点是支持按小时计费,很适合我这种只需要训练十几个小时的场景,不必为了偶尔的训练任务长期租用服务器。 AutoDL 算力市场:https://www.autodl.com/market/list 点击图中的「算力市场」,即可查看当前可租用的服务器。 在算力市场中,可以看到不同 GPU 型号对应的配置和价格。具体需要什么显卡,可以参考我前面介绍的两篇文章: 模型训练加速 和 模型精度 。 从下图可以看到,两个价格为 1.66 元/小时的实例已经被租完了。一般来说,这类价格便宜、配置又合适的实例比较抢手,能不能租到还得看运气。 选择一个仍可租用的实例,点击进入创建页面。 在创建页面中,根据自己的需求配置 GPU、镜像等选项即可。如果不清楚该如何选择,可以先使用平台提供的较新镜像,后续再根据实际需要调整。 其他软件也可以在通过 SSH 连接服务器后,自行使用 pip 或 apt 安装。 创建完成后,就可以在控制台的「容器实例」页面中看到刚刚创建的实例。 注意:模型训练完成,或者暂时不需要使用服务器时,一定要记得关机! 在「容器实例」页面中,点击对应实例右侧的「关机」按钮,即可停止实例运行,避免继续产生运行费用。具体计费规则以平台说明为准。 此外,实例还自带了 JupyterLab 工具。点击进入后,就可以直接在浏览器中查看和编辑已经上传到服务器的文件,不必每次都通过 SSH 操作。 2. windows上WSL安装 有时候,我们需要使用一些只能在 Linux 环境下运行的工具。如果平时主要在 Windows 上工作,每次为了使用这些工具切换系统就比较麻烦。 微软提供的 WSL(Windows Subsystem for Linux) 可以解决这个问题。通过 WSL,我们可以在 Windows 中安装和运行 Linux 发行版,例如 Ubuntu,而不必单独安装一套 Linux 系统。 最好的一点是,WSL 中的 Linux 可以直接访问 Windows 本地磁盘。 例如,Windows 的 F:\code\python 在 WSL 中对应 /mnt/f/code/python ,我们可以直接读取、修改和运行其中的文件,修改后的文件在 Windows 中也能直接访问,无需像使用 VMware 那样额外配置共享文件夹来传输文件。 2.1 安装 Ubuntu 打开 CMD 或 PowerShell,执行以下命令安装 Ubuntu: 1 wsl --install -d Ubuntu 首次安装时,系统会一并安装 WSL 所需组件。默认使用 WSL2 即可。 安装完成后,可以通过以下命令查看已安装的 Linux 发行版及其运行状态: 1 wsl --list --verbose 如果安装了多个发行版,可以通过以下命令设置默认发行版: 1 wsl --set-default Ubuntu-22.04 注意,发行版名称需要与 wsl --list --verbose 显示的名称一致 2.2 将 WSL 移动到其他磁盘 WSL 发行版的 Linux 文件系统通常存储在虚拟磁盘文件 ext4.vhdx 中。默认安装在 C 盘,而 C 盘空间又比较紧张,就可以考虑将发行版迁移到其他磁盘。 例如,我希望将 Ubuntu-22.04 移动到 F 盘。 使用管理员权限打开 CMD 或 PowerShell ,然后执行: 1 wsl --manage Ubuntu-22.04 --move F:\WSL\Ubuntu-22.04 这里的 Ubuntu-22.04 是发行版名称, F:\WSL\Ubuntu-22.04 是目标存储位置。 如果和我一样,没有使用管理员权限的 CMD 窗口执行上述命令,导致只移动了 ext4.vhdx 文件,可以按以下步骤处理。 删除无用的注册信息: 1 wsl --unregister Ubuntu-22.04 使用现有的 ext4.vhdx 重新注册系统: 1 wsl --import-in-place Ubuntu-22.04 F:\WSL\Ubuntu-22.04\ext4.vhdx 2.3 启动 WSL 安装完成后,可以通过以下命令启动 Linux 环境。 启动默认发行版: 1 wsl 启动指定发行版: 1 wsl -d Ubuntu-22.04 进入 Linux 环境后,就可以像使用普通 Linux 系统一样执行命令、安装软件和运行程序。 2.4 关闭 WSL 如果暂时不需要使用 Linux 环境,可以通过以下命令停止发行版。 停止指定发行版: 1 wsl --terminate Ubuntu-22.04 简写形式为: 1 wsl -t Ubuntu-22.04 关闭 WSL2 所有虚拟机: 1 wsl --shutdown 两者的区别在于: wsl --terminate :只停止指定的 Linux 发行版。 wsl --shutdown :停止所有正在运行的 WSL 发行版,并关闭 WSL2 虚拟机。 关闭终端窗口不等于关闭发行版。如果里面还有后台进程(例如正在运行的 vllm serve ),发行版会继续运行。 没有任何进程时,WSL 会在空闲一段时间后自动停止。 新版 WSL 默认约为 8 秒,旧版可能需要更久。 2.5 查看运行状态 可以使用以下命令查看所有已安装发行版的状态: 1 wsl -l -v 重点关注输出中的 STATE 列: Running :发行版正在运行。 Stopped :发行版当前已停止。 3.文件压缩与解压 一般来说,我们会先在本地准备好训练代码和数据集,再上传到服务器进行训练。 数据集往往比较大。我这次训练的一个小模型,相关文件加起来就有 1.8GB。直接上传不仅耗时,而且服务器通常按小时计费,上传时间越长,成本也越高。 因此,可以先在本地压缩文件,上传到服务器后再解压。这样能够显著减小上传的数据量,节省时间和费用。 这里使用的都是 Linux 下的命令行工具,因此推荐在 WSL 的 Ubuntu 中执行。 3.1 压缩 这里使用 tar 打包、 zstd 压缩,并通过 pv 显示处理进度。 首先,指定需要压缩的文件夹,并获取其大小,作为进度估算的依据: 1 2 DIR=/mnt/f/code/python/RNN_with_smt_dmt SIZE=$( du -sb " $DIR " | awk '{print $1}' ) 然后执行压缩: 1 2 3 tar -cf - -C /mnt/f/code/python RNN_with_smt_dmt \ | pv -s " $SIZE " \ | zstd -19 -T0 --long=31 -o /mnt/f/code/python/RNN_with_smt_dmt.tar.zst --long=31 :允许 zstd 在最多约 2GB 的范围内查找重复数据块,因此需要占用约 2GB 内存作为缓冲区。所以在AutoDL的无卡模式中是做不到 --long=31 压缩解压的。 pv 不是必需的。如果不需要查看进度,可以直接去掉这一段。 图中主要关注 pv 显示的已处理数据量,例如 912MiB 。它表示目前已经处理了多少原始数据,可以与 Windows 文件夹属性中显示的总大小进行对比,大致判断压缩进度。 我这次将约 1.8GB 的文件压缩到了 300 多 MB,减少了很多上传数据量,节省了不少时间。 3.2 解压 上传到服务器后,可以使用以下命令解压: 1 2 zstd -dc --long=31 /mnt/f/code/python/smt/src/my_datasets/data/tinystories.tar.zst \ | tar -xf - -C /目标目录/ 其中: zstd -dc :解压 .zst 数据,并输出到标准输出。 tar -xf - :从标准输入读取打包数据并解包。 -C /目标目录/ :指定解压目标目录。 --long=31 用于匹配压缩时使用的长距离匹配设置。目标目录需要提前创建,并确保路径正确。 4. 文件上传与下载 文件传输使用 scp 即可。它支持通过 SSH 连接传输文件,可以直接在本地终端中操作。 4.1 上传 例如,将本地压缩包上传到 AutoDL 服务器: 1 scp -P 16021 "F:\code\python\smt\src\my_datasets\data\tinystories.tar.zst" [email protected]:/root/src/my_datasets/data/tinystories.tar.zst 其中, -P 16021 指定 SSH 端口,后面分别是本地文件路径和服务器上的目标路径。 4.2 下载 下载的思路也一样。不过,训练完成后,如果需要下载模型、日志或其他较大的文件,建议先在服务器上将它们压缩,再下载到本地。 例如: 1 scp -P 26786 [email protected]:/root/dmt_tinystories_0.tar.zst ./ 这里的 ./ 表示将文件下载到当前本地目录。 注意: 上传和下载时,需要根据服务器实际提供的 SSH 地址、端口和文件路径修改命令。 5. 硬件利用情况监测脚本 在服务器上启动训练后,我们可以再开一个终端窗口,实时监控 CPU、GPU 的资源使用情况,判断当前训练任务对硬件资源的利用是否充分。 具体指标的含义及优化方法,可以参考前面的第一篇文章《模型训练加速》。 5.1 监测脚本 首先安装依赖: [代码] 1 pip install nvidia-ml-py psutil 将以下代码保存为 monitor.py : 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54 55 56 57 58 59 60 61 62 63 64 65 66 67 68 69 70 71 72 73 74 75 76 77 78 79 80 81 82 83 84 85 86 87 88 89 90 91 92 93 94 95 96 97 98 99 100 101 102 103 104 105 106 107 108 # pip install nvidia-ml-py psutil # python monitor.py # 默认 1 秒刷新 # python monitor.py -i 0.5 # 0.5 秒刷新 import argparse import os import time import psutil import pynvml BAR_WIDTH = 30 def make_bar ( percent ): """把百分比转成定长文本进度条。""" percent = max ( 0.0 , min ( 100.0 , percent)) filled = int (BAR_WIDTH * percent / 100 ) return "█" * filled + "░" * (BAR_WIDTH - filled) def format_line ( label, percent, detail ): return f" {label:< 6 } {make_bar(percent)} {percent: 5.1 f} % {detail} " def query_power ( handle ): """返回 (当前功耗W, 功耗上限W),驱动不支持时返回 (None, None)。""" try : usage = pynvml.nvmlDeviceGetPowerUsage(handle) / 1000.0 limit = pynvml.nvmlDeviceGetEnforcedPowerLimit(handle) / 1000.0 return usage, limit except pynvml.NVMLError: return None , None def build_lines ( handles ): lines = [] cpu = psutil.cpu_percent(interval= None ) lines.append(format_line( "CPU" , cpu, f" {psutil.cpu_count()} 逻辑核心" )) for idx, handle in enumerate (handles): name = pynvml.nvmlDeviceGetName(handle) if isinstance (name, bytes ): name = name.decode() util = pynvml.nvmlDeviceGetUtilizationRates(handle) mem = pynvml.nvmlDeviceGetMemoryInfo(handle) power, power_limit = query_power(handle) lines.append( "" ) lines.append( f"GPU {idx} : {name} " ) lines.append(format_line( "GPU" , util.gpu, "" )) mem_pct = mem.used / mem.total * 100 mem_detail = f" {mem.used / 1024 ** 3 : .2 f} / {mem.total / 1024 ** 3 : .2 f} GB" lines.append(format_line( "VRAM" , mem_pct, mem_detail)) if power is None : lines.append( f" { 'Power' :< 6 } N/A" ) else : power_pct = power / power_limit * 100 lines.append(format_line( "Power" , power_pct, f" {power: .1 f} / {power_limit: .0 f} W" )) return lines def main (): parser = argparse.ArgumentParser(description= "实时监控 GPU / CPU 使用情况" ) parser.add_argument( "-i" , "--interval" , type = float , default= 1.0 , help = "刷新间隔(秒),默认 1.0" ) args = parser.parse_args() # Windows 终端需要先执行一次,才会启用 ANSI 转义序列 os.system( "" ) pynvml.nvmlInit() handles = [] for idx in range (pynvml.nvmlDeviceGetCount()): handles.append(pynvml.nvmlDeviceGetHandleByIndex(idx)) # 预热:第一次调用 cpu_percent 会返回 0.0 psutil.cpu_percent(interval= None ) print ( "按 Ctrl+C 退出\n" ) last_height = 0 try : while True : lines = build_lines(handles) # 光标上移到上一次输出的起点 if last_height > 0 : print ( f"\033[ {last_height} A" , end= "" ) for line in lines: # \033[K 清除当前行剩余内容,避免残留旧字符 print ( f"\033[K {line} " ) last_height = len (lines) time.sleep(args.interval) except KeyboardInterrupt: print ( "\n已退出" ) finally : pynvml.nvmlShutdown() if __name__ == "__main__" : main() 5.2 运行效果 通过这个脚本,可以直观地观察训练过程中几个重要的指标: GPU 利用率:GPU 当前有多少时间在执行计算任务。 显存占用率:已使用显存占总显存的比例,同时显示实际占用量。 功耗占比:当前 GPU 功耗与功耗上限的比例,可以作为计算负载的辅助参考,但不能直接等同于计算资源利用率。 CPU 利用率:观察 CPU 的整体使用情况,辅助判断数据加载和预处理是否可能成为瓶颈。 其中,GPU 利用率、显存占用率和功耗占比是训练时最值得关注的三个 GPU 指标。结合训练速度和 Loss 的变化,可以进一步判断是否需要优化训练流程。 6. tmux 创建训练会话 我们不可能一直开着 CMD,通过 SSH 连接服务器并保持窗口不关闭来运行训练。万一终端意外断开,就可能影响训练任务的正常运行。 因此,我们需要一种能够让训练任务在终端断开后继续运行,并且随时可以重新连接查看实时输出的方法。这里推荐使用 tmux 。 它的主要优点是: 终端断开后,训练程序仍然可以继续运行;重新连接时,还能看到之前的终端内容和实时输出,就像 CMD 窗口一直没有断开一样。 6.1 安装 tmux 如果服务器尚未安装 tmux ,先执行: 1 apt update && apt install -y tmux 6.2 创建训练会话 新建一个名为 train 的会话: 1 tmux new -s train 进入会话后,直接运行 训练命令: 1 python -m training.smt_training 6.3 退出会话但保持训练运行 训练开始后,如果想退出当前终端,但又不希望训练停止,可以使用 tmux 的脱离会话功能。 按键顺序如下: 按一下 Ctrl+B ,然后 松开所有按键 。 再单独按一下 D ,不要同时按住 Ctrl 。 此时会退出当前 tmux 窗口,但训练程序会继续在后台运行。 6.4 重新连接查看训练进度 重新 SSH 连接服务器后,执行以下命令即可回到之前的训练会话: 1 tmux attach -t train 重新进入后,就可以继续查看训练过程中的实时输出。 注意: tmux 只能保证会话在 SSH 终端断开后继续运行。如果服务器关机、容器被停止或训练进程自身异常退出,训练仍然会中断。