存储资源

表格

类型	路径	容量	元数据	数据	快照创建时间点	快照保留策略
并行存储	/bbfs	102 TiB	NVMe SSD	NVMe SSD	-	-
并行存储	/fsa	361 TiB	SAS SSD	7.2Krpm HDD	每日0、6、12、18时	小时快照保留24小时每天快照保留7天每周快照保留2周
并行存储	/fs04	14 TiB	10Krpm HDD	10Krpm HDD
并行存储	/fs08	14 TiB	10Krpm HDD	10Krpm HDD	每日0时	每天快照保留3天
并行存储	/fs09	24 TiB	7.2Krpm HDD	7.2Krpm HDD	每日0时	每天快照保留7天每周快照保留2周
并行存储	/fs10	9.9 TiB	10Krpm HDD	10Krpm HDD
并行存储	/fs12	14 TiB	10Krpm HDD	10Krpm HDD
并行存储	/fs13	30 TiB	7.2Krpm HDD	7.2Krpm HDD
并行存储	/fs14	262 TiB	7.2Krpm HDD	7.2Krpm HDD
并行存储	/fs00	7.3 TiB	NVMe SSD	NVMe SSD	每日0时	每天快照保留7天每周快照保留4周
归档存储	/archive	1.10 PiB	7.2Krpm HDD	7.2Krpm HDD
对象存储	s3.nju.edu.cn	2.12 PB	SATA SSD	7.2Krpm HDD
对象存储	stor.nju.edu.cn	1.10 PiB	7.2Krpm HDD	7.2Krpm HDD
本地存储	/dev/shm		RAM	RAM	-	-
本地存储	/tmp		HDD/SSD	HDD/SSD	-	-
本地存储	/ssd		SSD	SSD	-	-

并行存储

高速全闪（Tier 0）

特点：热数据、极致性能、双/单副本

/bbfs

采用全NVMe SSD构建的高性能Burst Buffer，具备极高的顺序和随机读写性能，无快照。

文件系统：bbfs
购置者：公共共享100%
可用容量：102 TiB
IO节点：4*HPE ProLiant DL380 Gen10: bb01 bb02 bb03 bb04
网络：2*25 Gigabit Ethernet, 100 Gbit/s EDR InfiniBand, 100 Gbit/s Omni-Path Architecture
硬盘：7*Intel SSD DC P4510, 64-Layer TLC 3D NAND, 4TB 6.3PBW, 2.5in U.2 15mm, PCIe 3.1 x4 NVMe
保护：所有元数据和数据以双副本形式保护

/bbfs/fs*/

所有文件系统（/fs*/）均在此目录中有映射，/bbfs/fs*/ 是 /fs*/ 的高速缓存，在 /bbfs/fs*/ 中重读和写入具有极高的性能，与直接在 /fs*/ 下相比有显著提升，保存在 /bbfs/fs*/ 下的文件会自动回写 /fs*/ 保存。

如：作业输入文件位于 /fsa/home/yaoge/in，如果此输入文件近期会被读取多次（无论是单个作业还是多个作业），则应将输入文件路径指定为 /bbfs/fsa/home/yaoge/in，那么从第二次开始均从高速SSD上读取，减少作业读取文件上花费的时间。

如：作业输出文件如较大，则应将数据文件路径指定为 /bbfs/fsa/home/yaoge/out，那么将直接写入高速SSD中，然后系统会自动将文件回写到 /fsa/home/yaoge/out 便于长期保存，减少作业写入文件上花费的时间。

/bbfs/scratch/

用于保存临时文件，超过30天没有访问（atime）的文件会被自动删除，适合于临时存储计算中间结果、checkpoint等无需长期保留的文件。文件名以 .tmp 和 .temp 结尾的文件保存为单副本。

如：作业运行过程中保存的Check Point文件或多个作业之间通过临时文件传输数据，这些文件无需长期保存，则可以保存在/bbfs/scratch/yaoge目录下，读写均在高速SSD上。

只读缓存

部分计算节点有额外的SSD为并行文件系统提供本地高速缓存，可提升此节点元数据和数据的读取性能，具体节点详见计算资源

家目录（Tier 1）

特点：温数据、高性能、快照

只读快照

快照是特定时间点数据的只读副本，用户可以从中恢复误删的文件或文件的过往版本。当前部分文件系统存在只读快照，可以在文件系统目录/.snapshot中查找。

如/fsa，快照位于/fsa/.snapshots，/fsa/.snapshots/20220804-1800是2022年8月4日18时0分创建的快照，在这个目录下可以查阅快照创建时间点的所有文件。

/fsa

购置者：公共共享100%
可用容量：361 TiB
IO节点：2*HP ProLiant DL380 Gen9: io01 io02
网络：2*10 Gigabit Ethernet, 56 Gbit/s FDR InfiniBand
存储：DDN SFA7700X，双控制器，每控制器 32GB 缓存带电池备份至闪存
硬盘：Data: 10TB 3.5-inch 7.2Krpm 12Gb/s SAS，每10个盘做一组RAID6，5组RAID6。Metadata: Toshiba Enterprise SSD PX02SMU040 MLC 10DWPD 400GB 2.5-inch 12Gb/s SAS，10个盘做一组RAID6。

/fs04

购置者：万贤纲100%
可用容量：14 TiB
IO存储节点：Dell PowerEdge 12G R720xd: io08
网络：2*10 Gigabit Ethernet
RAID卡：Dell PERC H710P Mini (LSI SAS2208 ROC), 1GB cache with Intelligent Battery Backup Unit
硬盘：900GB 2.5-inch 10Krpm 6Gb/s SAS，每5个盘做一组RAID5，4组RAID5，2个热备盘

/fs08

购置者：孙建100%
可用容量：14 TiB
IO节点：2*Inspur NF5270M3: io10 io11
网络：2*1 Gigabit Ethernet, 40 Gbit/s QDR InfiniBand
存储：Inspur AS500H (NetApp E2600)，双控制器，每控制器 4GB 缓存带电池备份至闪存，Write caching with mirroring, High Performance Tier
硬盘：900GB 2.5-inch 10Krpm 6Gb/s SAS，每5个盘做一组RAID5，4组RAID5，2个全局热备盘

/fs09

购置者：孙建100%
可用容量：24 TiB
IO节点：2*Inspur NF5270M3: io10 io11
网络：2*1 Gigabit Ethernet, 40 Gbit/s QDR InfiniBand
存储：Inspur AS500H (NetApp E2600)，双控制器，每控制器 4GB 缓存带电池备份至闪存，Write caching with mirroring, High Performance Tier
硬盘：3TByte 3.5-inch 7.2Krpm 6Gb/s NL-SAS，12个盘做一个Disk Pool，保留1个硬盘空间，做2个Virtual Disk

/fs10

购置者：王强华100%
可用容量：9.9 TiB
IO存储节点：Inspur NF5270M3: io12
网络：2*1 Gigabit Ethernet, 40 Gbit/s QDR InfiniBand
RAID卡：LSI MegaRAID SAS 9271-8i (LSI SAS2208 ROC), 1GB缓存超级电容备份至闪存
硬盘：900GB 2.5-inch 10Krpm 6Gb/s SAS，每5个盘做一组RAID5，3组RAID5，1个全局热备盘

/fs12

购置者：张海军100%
可用容量：14 TiB
IO节点：2*HP ProLiant DL380 Gen9: io01 io02
网络：2*10 Gigabit Ethernet, 56 Gbit/s FDR InfiniBand
存储：HP MSA 2040 SAN，双控制器，每控制器 4GB 缓存带超级电容备份至闪存
硬盘：900GB 2.5-inch 10Krpm 6Gb/s SAS，每5个盘做一组RAID5，4组RAID5，3个全局热备盘

/fs13

购置者：张海军100%
可用容量：30 TiB
IO节点：2*HP ProLiant DL380 Gen9: io01 io02
网络：2*10 Gigabit Ethernet, 56 Gbit/s FDR InfiniBand
存储：HP MSA 2040 SAN，双控制器，每控制器 4GB 缓存带超级电容备份至闪存
硬盘：4TByte 3.5-inch 7.2Krpm 6Gb/s SAS，每6个盘做一组RAID6，2组RAID6，1个冷备盘

/fs14

购置者：陈申见100%
可用容量：262 TiB
IO节点：Dell PowerEdge R730: io13
网络：2*10 Gigabit Ethernet
RAID卡：Dell PERC H730P Mini (LSI SAS3108 ROC), 2GB NV cache with Intelligent Battery Backup Unit
硬盘：8TByte 3.5-inch 7.2Krpm 12Gb/s SAS，6个盘做一组RAID6
RAID卡：Dell PERC H830 (LSI SAS3108 ROC), 2GB NV cache with Intelligent Battery Backup Unit
JBOD：8TByte 3.5-inch 7.2Krpm 12Gb/s SAS，6个盘做一组RAID6，8组RAID6

支撑目录（Tier 1）

/fs00

购置者：公共共享100%
可用容量：7.3 TiB
IO节点：4*HPE ProLiant DL380 Gen10: bb01 bb02 bb03 bb04
网络：2*25 Gigabit Ethernet, 100 Gbit/s EDR InfiniBand, 100 Gbit/s Omni-Path Architecture
硬盘：Intel SSD DC P4510, 64-Layer TLC 3D NAND, 2TB 2.61PBW, 2.5in U.2 15mm, PCIe 3.1 x4 NVMe
保护：所有元数据和数据以三副本形式保护

归档存储（Tier 2）

特点：冷数据、低性能、便宜

/archive

购置者：公共共享100%
可用容量：1.10 PiB
IO存储节点：Dell PowerEdge R740xd: stor.nju.edu.cn
网络：2*25 Gigabit Ethernet
保护：RAID-Z 3
仅登录节点可访问

对象存储（Tier 2）

打破壁垒实现集群内外数据的统一访问。同一份数据，集群内外共同使用，访问方式相同，再无迁移数据的烦恼！

s3.nju.edu.cn

购置者：公共共享100%
裸容量：2.12 PB
系统：紫光西部数据 UniverStor P20000
网络：12*10 Gigabit Ethernet
保护：纠删码 Large object: 15/4, Small object: 6/4
协议：S3
Endpoint: http://s3.nju.edu.cn OR https://s3.nju.edu.cn
Region: “空” 或 us-east-1
访问范围：集群、校园网、互联网

stor.nju.edu.cn

购置者：公共共享100%
可用容量：1.10 PiB
系统：MinIO
IO存储节点：Dell PowerEdge R740xd
网络：2*25 Gigabit Ethernet
保护：RAID-Z 3
协议：S3
Endpoint: http://stor.nju.edu.cn
访问范围：集群、校园网

临时目录

计算和登录节点的本地目录，节点间相互独立不能跨节点互访
超过24小时未访问且节点无文件所有者进程的文件会被自动删除

/tmp/ /var/tmp/

节点本地根文件系统的临时文件目录

/dev/shm/

节点内存中的临时文件系统目录，容量为总内存的一半，重启不保留

/ssd/ /tmp/ssd

部分节点有额外的SSD用于临时存储，则挂载于此目录

退出服务

/fs04

可用容量：885 GB
IO存储节点：IBM System x3650: io03
RAID卡：IBM ServeRAID 8k (Adaptec), 256MB cache with battery
硬盘：146GB 3.5-inch 10Krpm 3Gb/s SAS，每5个盘做一组RAID5，每节点1组共2组RAID5，每节点1个热备盘

/fs02

可用容量：7.3 TB
IO节点：IBM System x3650 M3: io05
网络：Chelsio 20 Gigabit Ethernet
存储：IBM System Storage DS3200, 1GB cache with battery backup
硬盘：2TByte 3.5-inch 7.2Krpm 3Gb/s SATA，6个盘做一组RAID6

/fs06

可用容量：443 GB
IO存储节点：HP ProLiant DL380 G5: io09
高速网络：20 Gbit/s DDR InfiniBand
RAID卡：HP Smart Array P400, 512MB Battery-Backed Write Cache
硬盘：146GB 2.5-inch 10Krpm 3Gb/s SAS，5个盘做一组RAID5，1个热备盘

/fs07

可用容量：7.3 TB
IO节点：HP ProLiant DL380 G5: io09
高速网络：20 Gbit/s DDR InfiniBand
存储：HP StorageWorks MSA2312sa G2 单控制器
硬盘：1TByte 3.5-inch 7.2Krpm 3Gb/s SATA，每6个盘做一组RAID6，2组RAID6

/fs05

可用容量：1010 GB
IO存储节点：HP ProLiant DL380 G5: io04
RAID卡：HP Smart Array P400, 512MB Battery-Backed Write Cache
硬盘：300GB 2.5-inch 10Krpm 3Gb/s SAS，5个盘做一组RAID5，1个热备盘

/fs05b

可用容量：932 GB
IO存储节点：HP ProLiant DL380 G5: io04
RAID卡：HP Smart Array P400, 512MB Battery-Backed Write Cache
硬盘：1TByte 2.5-inch 7.2Krpm 3Gb/s NL-SAS，1个盘RAID0

/fs03

可用容量：2.2 TB
IO存储节点：Dell PowerEdge 12G R720: io07
RAID卡：Dell PERC H710P Mini (LSI SAS2208 ROC), 1GB cache with Intelligent Battery Backup Unit
硬盘：600GB 2.5-inch 10Krpm 6Gb/s SAS，5个盘做一组RAID5，1个热备盘

/fs11

可用容量：16 TB
IO节点：Dell PowerEdge 12G R720: io07
存储：Dell MD3200i 单控，2GB cache with battery backup
硬盘：2TByte 3.5-inch 7.2Krpm 6Gb/s NL-SAS，12个盘做一个Disk Pool，保留1个硬盘空间，做一个Virtual Disk

/fs01

文件系统：fs01
购置者：公共共享100%（原邢定钰50%，舒大军50%）
可用容量：4.4 TB
IO存储节点：IBM System x3650 M3: io05 io06
网络：Chelsio 2*10 Gigabit Ethernet
RAID卡：IBM ServeRAID M5015 (LSI SAS2108 ROC), 512MB cache with Battery Backup Unit
硬盘：300GB 2.5-inch 10Krpm 6Gb/s SAS，每5个盘做一组RAID5，每节点2组共4组RAID5，每节点1个热备盘