提交作业
集群使用作业调度系统管理所有计算作业,该系统接受用户的作业请求,并将作业合理的分配到合适的节点上运行,因此所有用户均应通过作业调度系统提交计算作业,不可直接在任何节点上直接运行。
在 Slurm 中,sbatch 用于提交批处理作业;srun 用于启动作业步骤,通常用于运行并行程序,也可用于启动交互式任务。
为了更好的利用集群资源,利于小作业快速运行。请学习Slurm回填内容,在作业脚本里指定合适的-t。
Slurm 作业提交方式
批处理作业方式 (sbatch)
sbatch 用于提交批处理作业。用户将资源需求、环境配置和任务执行命令写入脚本,通过 sbatch 提交,由 Slurm 调度系统负责资源分配、作业调度和任务启动。
sbatch job.slurm
提交成功后,Slurm 返回作业 ID。
sbatch 直接读取脚本内容,因此 job.slurm 脚本文件不需要执行权限,其基本结构如下:
#!/bin/bash
#SBATCH [options]
command [arguments]
脚本中以 #SBATCH 开头的行用于向 Slurm 指定作业参数,包括资源需求、作业名称、输出文件、运行时间等。
示例:通过
sbatch提交一个 MPI 并行作业$ cat job.slurm #!/bin/bash #SBATCH -p Partition # 指定分区 #SBATCH -J MyMPIJob # 作业名称 #SBATCH -N 2 # 请求 2 个节点 #SBATCH --ntasks-per-node=24 # 每个节点启动 24 个 task(MPI rank) #SBATCH -o output_%j.log # 标准输出文件 (%j 会被替换为 Job ID) #SBATCH -e error_%j.log # 标准错误文件 module load <MPI环境> srun ./app $ sbatch job.slurm Submitted batch job 3207099
交互式与单行命令方式 (srun)
srun 用于在分配到的资源上启动任务。配合 --pty 可以开启交互式终端,常用于代码调试:
# 申请 1 个节点、4 个核心,开启一个交互式 bash 终端
$ srun -p e5v3ib -N 1 -c 4 --pty bash
如果是临时提交一条简单的非交互命令,可以使用 sbatch --wrap:
$ sbatch -p e5v3ib -n 24 --wrap="srun ./app"
常用 sbatch/srun 选项
基础选项
-
-p, --partition=partition_name:指定作业提交的分区(队列)。 -
-J, --job-name=job_name:指定作业名称。 -
-t, --time=[days-]hours:minutes:seconds:作业运行的最长时间。超时会被系统自动 kill。- 示例:
-t 10(10分钟),-t 02:30:00(2小时30分),-t 1-00:00:00(1天)。
- 示例:
核心资源请求
在 Slurm 中,必须严格区分“任务 (Task/进程)”与“CPU核心 (CPU Core/线程)”。
-N, --nodes=num:作业申请的节点总数。若想在单节点运行避免跨节点性能损失,请指定-N=1。但是会导致排队时间变长。-n, --ntasks=num:作业申请的总任务数(通常对应 MPI 进程数)。如果不指定--cpus-per-task,默认每个任务分配 1 个 CPU 核心。--ntasks-per-node=num:每个节点上运行的任务数。-c, --cpus-per-task=num:每个任务需要的 CPU 核心数(通常用于多线程程序,如 OpenMP)。作业请求的总 CPU 核数 =ntasks×cpus-per-task。--mem=<size>[K|M|G|T]:每个节点申请的内存大小(如--mem=16G)。若未指定,系统会分配默认内存值,超出可能被 kill。--mem-per-cpu=MB:按每个 CPU 核心申请内存。- 对于纯MPI作业,
cpus-per-task默认为1;对于 OpenMP 或混合作业,必须显式设置-c。
节点选择与控制
-w, --nodelist=host_list:指定作业必须运行在哪些节点上,多个节点用逗号分隔(如-w "node01,node02")。-x, --exclude=host_list:排除发生故障或不希望运行的节点。-C, --constraint=features:请求具有特定属性(如大内存、特定 CPU 型号)的节点(如-C largemem)。--exclusive:作业独占整个计算节点,即使只申请了部分核心,其他用户的作业也无法调度到该节点。
输入输出控制
-o, --output=filename:标准输出文件。可以使用%j代表作业 ID。若未显式指定,默认为slurm-%j.out。-e, --error=filename:标准错误输出文件。-W, --wait:阻塞模式,等待作业执行完毕才返回终端提示符。
优先级与抢占
-q, --qos=high:指定qos优先级为高,会获得最高的排队优先级。只在本课题组购置分区可用,在公共分区与非自购分区无法使用。- 指定
qos=high后会参与优先级同为high的作业排序(与同组成员竞争),若节点资源足够会立刻开始;资源不够则会按排序抢占正在运行的低优先级作业(从运行时间从短到长开始抢占),无法抢占同为high的正在运行作业。 --requeue/--no-requeue:被抢占后是否自动重新排队。- 不指定qos默认为
normal,会被high抢占。 PreemptMode=CANCEL,high抢占作业后会直接终止被抢作业,状态为PREEMPTED。- 被抢占有300秒宽限期,请在非公共分区提交普通作业的用户按照自己程序的方法捕获抢占信号写checkpoint。
作业依赖
如果计算任务分多步进行,可以使用 -d, --dependency=dependency_expression 控制先后执行顺序。
-d afterok:job_ID:当前作业需等待job_ID完成且成功退出(退出码为0)后才开始。-d afternotok:job_ID:当前作业需等待job_ID完成且失败退出(退出码非0)后才开始(常用于错误处理)。-d afterany:job_ID:无论job_ID成功与否,只要它运行结束,当前作业即开始。- 支持多个依赖条件,用逗号
,分隔或使用问号?分割,但分隔符只能同时使用其中一种,不能混用。
GPU 作业分配
申请 GPU 资源时,必须显式指定需要的 GPU 数量。系统默认会根据 GPU 数量自动为您分配相应比例的 CPU 或内存,您也可以手动搭配所需的 CPU 核心数,单卡最大核数为单节点总核数/单节点卡数。但是建议不要指定CPU核数,由系统自动分配
--gres=gpu:number:每个节点申请number个 GPU。--gpus=number:作业申请的总 GPU 数量。--gpus-per-node=number:每个节点申请的 GPU 数量。
示例:单节点 4 卡 GPU 作业
#!/bin/bash
#SBATCH -p gpu_part
#SBATCH -N 1
#SBATCH --gres=gpu:4 # 申请 4 张 GPU
#SBATCH -c 16 # 为这 4 张显卡显式搭配 16 个 CPU 核心处理数据
#SBATCH --mem=64G # 显式申请内存
srun python train.py
若单个节点有多个型号GPU,需要指定GPU型号
- 例如9654p6000ib的e006节点,目前拥有2块RTX 5090 32GB以及4块 RTX PRO 6000 96GB。作业有不同显存/算力大小需求,小显存作业为了不被自动分配到大显存卡上造成显存浪费,就要指定型号,可以使用:
#SBATCH --gpus-per-node=<gpu_type>:<gpu_number>
示例:指定一块PRO6000
#SBATCH --gpus-per-node=rtx_pro_6000:1
也支持混用卡
示例:指定一块RTX 5090和三块PRO6000
#SBATCH --gres=gpu:rtx_5090:1,gpu:rtx_pro_6000:3
目前集群能选的节点仅有e006,<gpu_type>字段为rtx_pro_6000和rtx_5090
GPU 多进程共享(MPS)
如果你的作业在 GPU 上开多个进程(MPI rank、多 worker、多进程推理),想让它们真正并行跑在同一张卡上,在作业脚本里加一行:
source /fs00/software/mps/mps-env.sh
完整示例:
#!/bin/bash
#SBATCH -J myjob
#SBATCH -p <GPU分区>
#SBATCH --gres=gpu:1
#SBATCH -c 8
#SBATCH -t 04:00:00
source /fs00/software/mps/mps-env.sh # ← 就加这一行
# 你的实际负载(--ntasks 数 = 你要并发几个进程)
srun --ntasks=4 ./my_app
这一行会自动完成:
- 建一个作业私有的 MPS 通信目录(在本地盘,不会和别的作业冲突)
- 启动一个 MPS 服务进程
- 作业结束(正常结束、
scancel、超时、被抢占)时自动清理
之后 srun 起的每个进程都会连到同一个 MPS 服务,真正并行使用这张卡。
不改脚本也不会报错,也不会变慢到跑不完 —— 只是多进程仍然是「时间片轮转」,和单进程跑完再跑下一个差不多。 如果你本来就是单进程作业,什么都不用改。
三条硬约束
| 约束 | 为什么 |
|---|---|
不要写 --gpus-per-task |
它表示"每个 task 一张卡"。4 个 task 会去申请 4 张卡,正好破坏"多进程共享一张卡" |
不要改 CUDA_VISIBLE_DEVICES |
MPS 服务和你进程必须看到同一套设备映射,自行修改会导致设备错位、初始化失败 |
不要写 --gres=gpu:4 想"共享" |
申请 4 张卡就是占用 4 张卡,没有共享卡的用法。 |
怎么确认生效
在你的作业进程正在跑的时候,执行:
echo ps | nvidia-cuda-mps-control
期望输出里,你的每个进程各占一行,SERVER 列全部是同一个 PID,DEVICE 列是同一张卡:
PID ID SERVER DEVICE COMMAND
1840296 1 1840305 GPU-785c4775-7e45-3ab5 python3
1840298 2 1840305 GPU-785c4775-7e45-3ab5 python3
1840299 3 1840305 GPU-785c4775-7e45-3ab5 python3
1840297 4 1840305 GPU-785c4775-7e45-3ab5 python3
SERVER 列全部相同 = 真并发成立。
⚠️ 别在进程还没起来时查
MPS 的 server 进程是在第一个客户端连上 GPU 时才创建的。
所以在作业刚启动、还没有进程连 GPU 的时候查 get_server_list 会得到空值,get_client_list 会报 Server 0 not found —— 那是正常的。
如果一定要用这两个命令,必须等进程连上之后再查:
sleep 5
SRV=$(echo get_server_list | nvidia-cuda-mps-control | tr -d ' \n')
echo "server: ${SRV:-<还没有客户端连上>}"
[ -n "$SRV" ] && echo "get_client_list $SRV" | nvidia-cuda-mps-control
最省事的还是 echo ps |,它不需要知道 server pid。
⚠️ 不要用 nvidia-smi 判断
在 MPS 生效的情况下,nvidia-smi 里仍然会看到你的每个进程各自一行。所以"nvidia-smi 里有 4 个 python3"不能说明 MPS 没生效。唯一可靠的判据是上面的 get_client_list。
显存与算力(可选)
MPS 默认不限制每个进程能用多少,多个进程加起来超过卡容量就会一起 OOM。可以设上限:
source /fs00/software/mps/mps-env.sh
# 每个进程最多 20 GB
export CUDA_MPS_PINNED_DEVICE_MEM_LIMIT="0=20G"
srun --ntasks=4 ./my_app
注意:这是「每个进程」的上限,N 个进程 × 上限 必须小于卡的显存,否则还是会一起 OOM。
另外:
export CUDA_MPS_ACTIVE_THREAD_PERCENTAGE=25
它只是「最多用多少比例的计算单元」,不保证你能拿到这么多 —— 不会给你预留算力。实测在部分卡上不改变耗时。别指望用它做算力配额。
MPS 不支持多个作业共享一张卡! GPU 是按作业整卡分配的。MPS 解决的是「一个作业内部的多个进程共享一张卡」,不是「多个作业共享一张卡」。
内存配比不一致的分区
部分分区内的节点内存配比不同,写资源申请时要注意两个值:
- 不写
--mem:按分区内内存最小的节点计算每核内存(即默认内存),任何节点都能接。 - 写
--mem:按分区内内存最大的节点校验,作业会自动调度到那台。
一部分分区需要用 -C largemem 把作业约束到大内存节点;另一部分(9654、813080)不需要 -C,直接写 --mem 即可。详见计算资源。
⚠️ -C largemem 只约束节点、抬高上限,不会自动增加内存。真正要用大内存节点的内存,必须再写 --mem。
一览
| 分区 | 默认内存 | 上限 / 大内存节点 | 用法 |
|---|---|---|---|
9654 |
650 MB/核(o004) | 1925 MB/核(a017) | --mem |
813080 |
1262 MB/核(m004) | 2432 MB/核(a018) | --mem |
e52643tgb |
10944 MB/核 | 12800 MB/核(r004-r010) | -C largemem |
7702ib |
1900 MB/核 | 3876 MB/核(a011-a014) | -C largemem |
6338 |
15504 MB/核 | 31008 MB/核(n014-n015) | -C largemem |
97554090ib |
5814 MB/核 | 8740 MB/核(t002) | -C largemem |
e5v3ib |
4864 MB/核 | 10133 / 15402 MB/核 | -C mem256g / -C mem384g |
示例:9654,用满 a017 的 384 GB
#!/bin/bash
#SBATCH -p 9654
#SBATCH -N 1
#SBATCH -n 192
#SBATCH --mem=360G # 不写这句只拿到 124.8 GB
#SBATCH -t 24:00:00
srun ./app
示例:7702ib,用 a011-a014 的 512 GB
#!/bin/bash
#SBATCH -p 7702ib
#SBATCH -N 1
#SBATCH -n 128
#SBATCH -C largemem # 约束到大内存节点
#SBATCH --mem=480G # 不写这句只拿到 237.5 GB
#SBATCH -t 24:00:00
srun ./app