存储资源

表格

类型 路径 容量 元数据 数据 快照创建时间点 快照保留策略
并行存储 /bbfs 117 TiB NVMe SSD NVMe SSD - -
并行存储 /fsa 361 TiB SAS SSD 7.2Krpm HDD 每日0时 每天快照保留7天
每周快照保留2周
并行存储 /fs04 14 TiB 10Krpm HDD 10Krpm HDD
并行存储 /fs08 14 TiB 10Krpm HDD 10Krpm HDD 每日0时 每天快照保留3天
并行存储 /fs09 24 TiB 7.2Krpm HDD 7.2Krpm HDD 每日0时 每天快照保留7天
每周快照保留2周
并行存储 /fs10 9.9 TiB 10Krpm HDD 10Krpm HDD
并行存储 /fs12 14 TiB 10Krpm HDD 10Krpm HDD
并行存储 /fs13 30 TiB 7.2Krpm HDD 7.2Krpm HDD
并行存储 /fs14 262 TiB 7.2Krpm HDD 7.2Krpm HDD
并行存储 /fs00 3.3 TiB 10Krpm HDD 10Krpm HDD 每日0时 每天快照保留7天
每周快照保留12周
归档存储 /archive 1.91 PiB 7.2Krpm HDD 7.2Krpm HDD 每日0时 每天快照保留7天
每周快照保留4周
对象存储 s3.nju.edu.cn 2.12 PB SATA SSD 7.2Krpm HDD - -
本地存储 /dev/shm RAM RAM - -
本地存储 /tmp HDD/SSD HDD/SSD - -
本地存储 /ssd SSD SSD - -

并行存储

高速全闪(Tier 0)

特点:热数据、高性能、双/单副本

/bbfs

采用全NVMe SSD构建的高性能Burst Buffer,具备极高的顺序和随机读写性能,无快照。

/bbfs/fs*/

所有文件系统(/fs*/)均在此目录中有映射,/bbfs/fs*/ 是 /fs*/ 的高速缓存,在 /bbfs/fs*/ 中重读和写入具有极高的性能,与直接在 /fs*/ 下相比有显著提升,保存在 /bbfs/fs*/ 下的文件会自动回写 /fs*/ 保存。

如:作业输入文件位于 /fsa/home/yaoge/in,如果此输入文件近期会被读取多次(无论是单个作业还是多个作业),则应将输入文件路径指定为 /bbfs/fsa/home/yaoge/in,那么从第二次开始均从高速SSD上读取,减少作业读取文件上花费的时间。

如:作业输出文件如较大,则应将数据文件路径指定为 /bbfs/fsa/home/yaoge/out,那么将直接写入高速SSD中,然后系统会自动将文件回写到 /fsa/home/yaoge/out 便于长期保存,减少作业写入文件上花费的时间。

/bbfs/scratch/

用于保存临时文件,超过30天没有访问(atime)的文件会被自动删除,适合于临时存储计算中间结果、checkpoint等无需长期保留的文件。文件名以 .tmp 和 .temp 结尾的文件保存为单副本(无数据保护)。

如:作业运行过程中保存的Check Point文件或多个作业之间通过临时文件传输数据,这些文件无需长期保存,则可以保存在/bbfs/scratch/yaoge目录下,读写均在高速SSD上。

家目录(Tier 1)

特点:温数据、普通性能、快照

快照

快照是特定时间点数据的只读副本,用户可以从中恢复删除的文件或文件的过往版本。部分家目录文件系统有快照,可以在文件系统目录/.snapshot中查找。

如:/fsa的快照位于/fsa/.snapshots,/fsa/.snapshots/20220804-1800是2022年8月4日18时0分创建的快照,在这个目录下可以查阅快照创建时间点的所有文件。

/fsa

/fs04

/fs08

/fs09

/fs10

/fs12

/fs13

/fs14

支撑目录

/fs00

归档存储(Tier 2)

特点:冷数据、低性能、便宜

/archive

快照

快照是特定时间点数据的只读副本,用户可以从中恢复删除的文件或文件的过往版本,可以在文件系统目录/.zfs/snapshot中查找。

如:/archive的快照位于/archive/.zfs/snapshot,/archive/.zfs/snapshot/20220904-0000是2022年9月4日0时0分创建的快照,在这个目录下可以查阅快照创建时间点的所有文件。

对象存储(Tier 2)

打破壁垒实现集群内外数据的统一访问。同一份数据,集群内外共同使用,访问方式相同,再无迁移数据的烦恼!

s3.nju.edu.cn

临时目录

/tmp/ /var/tmp/

节点本地根文件系统的临时文件目录

/dev/shm/

节点内存中的临时文件系统目录,容量为总内存的一半,重启不保留

/ssd/ /tmp/ssd

部分节点有额外的SSD用于临时存储,则挂载于此目录


退出服务

/fs04
/fs02
/fs06
/fs07
/fs05
/fs05b
/fs03
/fs11
/fs01

Revision #85
Created 10 May 2021 18:03:14 by Yao Ge
Updated 22 January 2024 16:05:35 by Yao Ge