存储资源
合计
- 总容量：3.646 PiB
总览
- 高速全闪：bbfs
- 家目录：fsb、fs04、fs08、fs09、fs10、fs12、fs13、fs14
- 支撑目录：fs00
- 归档存储：/archive
表格
并行存储
高速全闪（Tier 0）
特点：热数据、高性能
/bbfs
采用全NVMe SSD构建的高性能Burst Buffer，具备极高的顺序和随机读写性能，无快照。
- 文件系统：bbfs
- 购置者：公共共享100%
- 可用容量：117 TiB
- IO节点：4*HPE ProLiant DL380 Gen10: bb01 bb02 bb03 bb04
- CPU: 2*Intel Xeon Gold 5122 (2 Cores, 16.5MB Cache, 3.60 GHz)
- RAM: 192 GB (12x16GB), 6 Channels, DDR4-2666 ECC RDIMM
- Network: 2*25 Gigabit Ethernet, 100 Gbit/s EDR InfiniBand, 100 Gbit/s Omni-Path
- SSD: 8*Intel SSD DC P4510, 64-Layer TLC 3D NAND, 4TB 6.3PBW, 2.5in U.2 15mm, PCIe 3.1 x4 NVMe
- 保护：元数据和数据双副本
/bbfs/fs*/
所有文件系统（/fs*/）均在此目录中有映射，/bbfs/fs*/ 是 /fs*/ 的高速缓存，在 /bbfs/fs*/ 中重读和写入具有极高的性能，与直接在 /fs*/ 下相比有显著提升，保存在 /bbfs/fs*/ 下的文件会自动回写 /fs*/ 保存。
如：作业输入文件位于 /fsb/home/yaoge/yaoge/in，如果此输入文件近期会被读取多次（无论是单个作业还是多个作业），则应将输入文件路径指定为 /bbfs/fsb/home/yaoge/yaoge/in，那么从第二次开始均从高速SSD上读取，减少作业读取文件上花费的时间。
如：作业输出文件如较大，则应将数据文件路径指定为 /bbfs/fsb/home/yaoge/yaoge/out，那么将直接写入高速SSD中，然后系统会自动将文件回写到 /fsb/home/yaoge/yaoge/out 便于长期保存，减少作业写入文件上花费的时间。
/bbfs/scratch/
用于保存临时文件，超过30天没有访问（atime）的文件会被自动删除，适合于临时存储计算中间结果、checkpoint等无需长期保留的文件。文件名以 .tmp 和 .temp 结尾的文件保存为单副本（无数据保护）。
如：作业运行过程中保存的Check Point文件或多个作业之间通过临时文件传输数据，这些文件无需长期保存，则可以保存在/bbfs/scratch/yaoge目录下，读写均在高速SSD上。
家目录（Tier 1）
特点：温数据、中性能、快照
快照
快照是特定时间点数据的只读副本，用户可以从中恢复删除的文件或文件的过往版本。部分家目录文件系统有快照，可以在文件系统目录/.snapshot中查找。
如：/fsb的快照位于/fsb/.snapshots，/fsb/.snapshots/20220804-1800是2022年8月4日18时0分创建的快照，在这个目录下可以查阅快照创建时间点的所有文件。
/fsb
- 购置者：公共共享100%
- 可用容量：1291.6 TiB
- 快照：每日0时创建；每天快照保留7天，每周快照保留2周
- 系统：Lenovo DSS-G 210
- 节点：2*Lenovo ThinkSystem SR655 V3: dss01 dss02
- 网络：2*25 Gigabit Ethernet, 200 Gbit/s HDR InfiniBand
- JBOD：1*Lenovo D4390
- 硬盘：88*Western Digital Ultrastar DC HC570 22TB 3.5-inch 7.2Krpm 12Gb/s SAS，2*Samsung PM1655 800GB 3DWPD 2.5-inch 24Gb/s SAS 24Gb
- 保护：数据 Reed-Solomon code 8+2p，元数据 3副本
/fs04
- 购置者：万贤纲100%
- 可用容量：13.1 TiB
- IO存储节点：Dell PowerEdge 12G R720xd: io08
- 网络：2*10 Gigabit Ethernet
- RAID卡：Dell PERC H710P Mini (LSI SAS2208 ROC), 1GB cache with Intelligent Battery Backup Unit
- 硬盘：900GB 2.5-inch 10Krpm 6Gb/s SAS，每5个盘做一组RAID5，4组RAID5，2个热备盘
/fs08
- 购置者：孙建100%
- 可用容量：13.1 TiB
- IO节点：2*Inspur NF5270M3: io10 io11
- 网络：2*1 Gigabit Ethernet, 40 Gbit/s QDR InfiniBand
- 存储：Inspur AS500H (NetApp E2600)，双控制器，每控制器 4GB 缓存带电池备份至闪存，Write caching with mirroring, High Performance Tier
- 硬盘：900GB 2.5-inch 10Krpm 6Gb/s SAS，每5个盘做一组RAID5，4组RAID5，2个全局热备盘
/fs09
- 购置者：孙建100%
- 可用容量：23.5 TiB
- IO节点：2*Inspur NF5270M3: io10 io11
- 网络：2*1 Gigabit Ethernet, 40 Gbit/s QDR InfiniBand
- 存储：Inspur AS500H (NetApp E2600)，双控制器，每控制器 4GB 缓存带电池备份至闪存，Write caching with mirroring, High Performance Tier
- 硬盘：3TByte 3.5-inch 7.2Krpm 6Gb/s NL-SAS，12个盘做一个Disk Pool，保留1个硬盘空间，做2个Virtual Disk
/fs10
- 购置者：王强华100%
- 可用容量：9.8 TiB
- IO存储节点：Inspur NF5270M3: io12
- 网络：2*1 Gigabit Ethernet, 40 Gbit/s QDR InfiniBand
- RAID卡：LSI MegaRAID SAS 9271-8i (LSI SAS2208 ROC), 1GB缓存超级电容备份至闪存
- 硬盘：900GB 2.5-inch 10Krpm 6Gb/s SAS，每5个盘做一组RAID5，3组RAID5，1个全局热备盘
/fs12
- 购置者：张海军100%
- 可用容量：13.1 TiB
- IO节点：2*HP ProLiant DL380 Gen9: io01 io02
- 网络：2*10 Gigabit Ethernet, 56 Gbit/s FDR InfiniBand
- 存储：HP MSA 2040 SAN，双控制器，每控制器 4GB 缓存带超级电容备份至闪存
- 硬盘：900GB 2.5-inch 10Krpm 6Gb/s SAS，每5个盘做一组RAID5，4组RAID5，3个全局热备盘
/fs13
- 购置者：张海军100%
- 可用容量：29.1 TiB
- IO节点：2*HP ProLiant DL380 Gen9: io01 io02
- 网络：2*10 Gigabit Ethernet, 56 Gbit/s FDR InfiniBand
- 存储：HP MSA 2040 SAN，双控制器，每控制器 4GB 缓存带超级电容备份至闪存
- 硬盘：4TByte 3.5-inch 7.2Krpm 6Gb/s SAS，每6个盘做一组RAID6，2组RAID6，1个冷备盘
/fs14
- 购置者：陈申见100%
- 可用容量：262 TiB
- IO节点：Dell PowerEdge R730: io13
- 网络：2*10 Gigabit Ethernet
- RAID卡：Dell PERC H730P Mini (LSI SAS3108 ROC), 2GB NV cache with Intelligent Battery Backup Unit
- 硬盘：8TByte 3.5-inch 7.2Krpm 12Gb/s SAS，6个盘做一组RAID6
- RAID卡：Dell PERC H830 (LSI SAS3108 ROC), 2GB NV cache with Intelligent Battery Backup Unit
- JBOD：8TByte 3.5-inch 7.2Krpm 12Gb/s SAS，6个盘做一组RAID6，8组RAID6
支撑目录
/fs00
- 购置者：公共共享100%
- 可用容量：3.3 TB
- 快照：每日0时创建；每天快照保留7天，每周快照保留12周
- IO节点：HP ProLiant DL380 Gen9: io01 io02
- 网络：2*10 Gigabit Ethernet, 56 Gbit/s FDR InfiniBand
- 存储：HP MSA 2040 SAN，双控制器，每控制器 4GB 缓存带超级电容备份至闪存
- 硬盘：900GB 2.5-inch 10Krpm 6Gb/s SAS，2个盘做一组RAID1，2组RAID1，1个全局热备盘
- IO节点：Inspur NF5270M3: io10 io11
- 网络：2*1 Gigabit Ethernet, 40 Gbit/s QDR InfiniBand
- 存储：Inspur AS500H (NetApp E2600)，双控制器，每控制器 4GB 缓存带电池备份至闪存，Write caching with mirroring, High Performance Tier
- 硬盘：900GB 2.5-inch 10Krpm 6Gb/s SAS，2个盘做一组RAID1，2个全局热备盘
- IO存储节点：Inspur NF5270M3: io12
- 网络：2*1 Gigabit Ethernet, 40 Gbit/s QDR InfiniBand
- RAID卡：LSI MegaRAID SAS 9271-8i (LSI SAS2208 ROC), 1GB cache with Battery Backup Unit
- 硬盘：900GB 2.5-inch 10Krpm 6Gb/s SAS，2个盘做一组RAID1，1个全局热备盘
- 保护：RAID1+元数据和数据双副本
归档存储（Tier 2）
特点：冷数据、低性能、快照
/archive
- 购置者：公共共享100%
- 可用容量：1.913 PiB
- 快照：每日0时创建；每天快照保留7天，每周快照保留4周
- IO存储节点：Dell PowerEdge R740xd: zfs
- 网络：2*25 Gigabit Ethernet
- 保护：RAID-Z 3
- 访问范围：/archive 仅登录节点
快照
快照是特定时间点数据的只读副本，用户可以从中恢复删除的文件或文件的过往版本，可以在文件系统目录/.zfs/snapshot中查找。
如：/archive的快照位于/archive/.zfs/snapshot，/archive/.zfs/snapshot/20220904-0000是2022年9月4日0时0分创建的快照，在这个目录下可以查阅快照创建时间点的所有文件。
对象存储（Tier 2）
打破壁垒实现集群内外数据的统一访问。同一份数据，集群内外共同使用，访问方式相同，再无迁移数据的烦恼！
s3.nju.edu.cn
- 购置者：公共共享100%
- 裸容量：2.12 PB
- 系统：紫光西部数据 UniverStor P20000
- 网络：12*10 Gigabit Ethernet
- 保护：纠删码 Large object: 15/4, Small object: 6/4
- 协议：S3
- Endpoint: http://s3.nju.edu.cn OR https://s3.nju.edu.cn
- Region: “空” 或 us-east-1
- 访问范围：集群、校园网、互联网
临时目录
- 计算和登录节点的本地目录，节点间相互独立不能跨节点互访
- 超过24小时未访问且节点无文件所有者进程的文件会被自动删除
/tmp/ /var/tmp/
节点本地根文件系统的临时文件目录
/dev/shm/
节点内存中的临时文件系统目录，容量为总内存的一半，重启不保留
/ssd/ /tmp/ssd
部分节点有额外的SSD用于临时存储，则挂载于此目录