查看信息

LSF

查看队列

查看所有队列：bqueues

$ bqueues 
QUEUE_NAME      PRIO STATUS          MAX JL/U JL/P JL/H NJOBS  PEND   RUN  SUSP 
x7542!           50  Open:Active       -    -    -    -    24     0    24     0
e5645!           50  Open:Active       -    -    -    -     0     0     0     0
e52643tgb!       50  Open:Active       -    -    -    -     8     0     8     0
……
6226rib          30  Open:Active       -    -    -    -     0     0     0     0
5218             30  Open:Active       -    -    -    -     0     0     0     0
6230r            30  Open:Active       -    -    -    -    32     0    32     0

• QUEUE_NAME：队列名称
• PRIO：队列优先级，越大优先级越高
• STATUS：队列状态。Open/Closed 表示是否可以提交，即用户是否可以提交作业到该队列；Active/Inact 表示否可以派发，即该队列的作业是否会被分发到计算节点运行。Open:Active 表示可提交可派发，Open:Inact 表示可提交但是不派发。
• NJOBS：排队、运行和挂起的作业所占总CPU核数
• PEND：排队中的作业所需总CPU核数
• RUN：运行中的作业所占总CPU核数
• SUSP：挂起的作业所占总CPU核数

查看队列详细信息：bqueues -l

$ bqueues -l e5v3ib

QUEUE: e5v3ib
  -- CPU: 2*E5-2680v3, RAM: 256GB/128GB, NET: 56Gb FDR InfiniBand

……

SCHEDULING POLICIES:  FAIRSHARE  EXCLUSIVE
FAIRSHARE_QUEUES:  e5v3ib e5v3ib! e7v4ib x5650ib 6140ib 62v100ib 722080tiib 72rtxib 7702ib ……
DISPATCH_ORDER:  QUEUE
USER_SHARES:  [root=, 999999] ……

SHARE_INFO_FOR: e5v3ib/
 USER/GROUP   SHARES  PRIORITY  STARTED  RESERVED  CPU_TIME  RUN_TIME   ADJUST  GPU_RUN_TIME
root=       999999  202255.328      0        0      8456.5     1542       0.000             0
……

USERS: all ~test/ 
HOSTS:  f01+10 f02+10 f03+10 f04+10 f05s+10 f05l/ 
RES_REQ:  span[ptile=24]
Maximum slot reservation time: 43200 seconds

查看节点

lshosts			#查看节点配置和资源

lshosts -gpu	#查看节点GPU配置和拓扑结构

lsload			#查看节点当前负载信息

lsload -gpu		#查看节点GPU整体负载

lsload -gpuload	#查看节点每个GPU负载

bhosts			#查看所有节点状态

自动关机

集群会对动力环境进行监控，遇市电中断或温度过高，将会自动终止所有作业，按照安全顺序进行关机操作。

关机时会在 /fs00/reports/bjobs/ 目录下会自动保存一份作业列表备查。如文件 /fs00/reports/bjobs/bjobs.20130728070457 表明2013年07月28日07点04分57秒时刻所有作业的状态（bjobs -uall -w 的输出），同时也说明这个时间点开始自动关机。

如果温度未触及高点，但已明显增高，为了防止温度继续增高，集群会停止派发新作业，并且关闭空闲节点。

进程监督

用户只能登录到登录节点，且可从登录节点登录到有自己正在运行作业的计算节点。

所有节点的用户进程都会被检查，如果发现如下情况，将会杀掉该节点此用户所有进程，并记录在 /fs00/reports/process 中

• 计算节点有进程未通过作业调度系统提交运行的
• 计算节点用户进程占用的CPU资源明显高于在作业调度系统中请求的CPU资源
• 登录节点用户占用大于2个CPU核心的

Slurm

查看队列

查看所有分区：sinfo

$ sinfo
PARTITION   AVAIL  TIMELIMIT  NODES  STATE NODELIST
e5v3ib         up   infinite     19  alloc f01n[01-04],f02n[04-06,13-14],f05n[05-14]
e5v3k40ib      up   infinite      1   idle x001
e7v4ib         up   infinite      1  alloc r011
6140ib         up   infinite      9  alloc b01n[01-05,08],b02n[03,05-06]
5218*          up   infinite      1  alloc o003
7702ib         up   infinite      2    mix a[001,009]
722080tiib     up   infinite      3   idle g[001-003]
6330ib         up   infinite      3  inval n[025,027-028]
6330ib         up   infinite      3   mix- n[020-022]
6330ib         up   infinite      9  alloc n[016-019,024,026,029-031]

• PARTITION：分区名称，即队列名。后缀 * 标识默认分区
• AVAIL：分区状态，up 表示可用，down 表示不可用，inact 表示不可分配
• TIMELIMIT：该分区作业的最大运行时间限制
• NODES：该状态下节点数量
• STATE：节点运行状态
• NODELIST：节点名称列表

查看指定分区：sinfo -p <partition>

查看空闲节点：sinfo -t idle

查看节点信息：sinfo -N -l

查看详细队列信息：scontrol show partition 或 scontrol show partition=<name>

$ scontrol show partition e5v3ib
PartitionName=e5v3ib
   AllowGroups=ALL AllowAccounts=ALL AllowQos=ALL
   AllocNodes=ALL Default=NO QoS=N/A
   DefaultTime=NONE DisableRootJobs=YES ExclusiveUser=NO GraceTime=0
   Hidden=NO MaxNodes=UNLIMITED MaxTime=UNLIMITED MinNodes=0
   MaxCPUsPerNode=UNLIMITED Nodes=f01n[01-04],f02n[04-06,13-14],f05n[05-14]
   PriorityJobFactor=1 PriorityTier=1 RootOnly=NO ReqResv=NO
   OverSubscribe=NO OverTimeLimit=NONE PreemptMode=OFF
   State=UP TotalCPUs=456 TotalNodes=19
   SelectTypeParameters=NONE
   DefMemPerNode=UNLIMITED MaxMemPerNode=UNLIMITED

主要输出项：

• PartitionName：分区名称
• AllowGroups：允许的用户组，ALL 表示所有组
• AllowAccounts：允许的账户
• AllowQos：允许的 QoS
• AllocNodes：允许分配的节点
• Default：是否为默认分区
• MaxNodes：最大节点数，UNLIMITED 表示无限制
• MaxTime：最大时间限制
• Nodes：包含的节点列表
• State：分区状态，UP 表示可用
• TotalCPUs：总 CPU 核数
• TotalNodes：总节点数
• DefMemPerNode：每节点默认内存
• MaxMemPerNode：每节点最大内存
• OverSubscribe：是否允许超额订阅

查看分区汇总：sinfo -s

sinfo -s 以分区为单位汇总节点状态，输出中的 NODES(A/I/O/T) 表示：

A：Allocated，已分配节点数 I：Idle，空闲节点数 O：Other，其他状态节点数，常见为 mixed，也可能是 drain、down、resv、comp、unk 等 T：Total，该分区节点总数

$ sinfo -s
PARTITION   AVAIL  TIMELIMIT   NODES(A/I/O/T) NODELIST
6140ib         up   infinite        13/0/3/16 b01n[01-08],b02n[01-08]
5218*          up   infinite          1/0/0/1 o003
6330ib         up   infinite        13/2/1/16 n[016-031]
83a100ib       up   infinite          1/0/0/1 m001

查看节点

sinfo -N -l               # 查看节点详细信息（含配置和状态）
scontrol show node        # 查看所有节点详细配置
scontrol show node <name> # 查看指定节点详细信息
scontrol -o show node     # 单行显示节点信息
scontrol show node | grep CfgTRES | tr ',' '\n' | awk -F '[:=]' '/gres\/gpu:/ { print $2 }' | sort -u  # 查看节点GPU配置
sinfo -t idle             # 查看空闲节点
sinfo -t alloc            # 查看已分配节点
sinfo -t mix              # 查看混合状态节点
sinfo -t drain            # 查看已下线节点
scontrol show nodes | grep CfgTRES   # 查看节点可追踪资源配置（含GPU）

节点状态说明：

• alloc / ALLOCATED：节点已分配给作业，所有资源已用满
• idle：节点空闲，可接收新作业
• mix / MIXED：节点部分资源已分配，仍有空闲资源可接受新作业
• mix-：节点部分资源已分配，同时被回填调度器规划给更高优先级作业
• inval / INVALID：节点注册无效，通常因实际资源与配置不一致（如 Low RealMemory）
• down：节点宕机，不可用
• drain / DRAINED：节点已排空，现有作业继续运行但不接受新作业
• drng / DRAINING：节点正在排空
• comp / COMPLETING：作业已完成，节点正在执行收尾工作
• fail / FAIL：节点失效
• maint / MAINT：节点处于维护保留状态
• resv / RESERVED：节点被预留
• unk / UNKNOWN：节点状态未知

节点状态后缀：

• *：节点当前无响应
• ~：节点已关闭电源
• #：节点正在启动或配置
• %：节点正在关闭电源
• $：节点处于维护保留
• @：节点待重启
• ^：已发出节点重启指令
• -：节点被回填调度器规划用于更高优先级作业