存储资源

合计 
 
 总容量：4.61 PiB 
 
 总览 
 
 高速全闪：bbfs 
 家目录：fsb、fs04、fs08、fs09、fs10、fs12、fs13、fs14 
 支撑目录：fs00 
 归档存储：/archive 
 
 表格 
 查看表格 
 
 并行存储 
 高速全闪（Tier 0） 
 特点：热数据、高性能 
 /bbfs 
 采用全NVMe SSD构建的高性能Burst Buffer，具备极高的顺序和随机读写性能，无快照。 
 
 文件系统：bbfs 
 购置者：公共共享100% 
 可用容量：116.4 TiB 
 IO节点：4*HPE ProLiant DL380 Gen10: bb01 bb02 bb03 bb04 
 CPU: 2*Intel Xeon Gold 5122 (2 Cores, 16.5MB Cache, 3.60 GHz) 
 RAM: 192 GB (12x16GB), 6 Channels, DDR4-2666 ECC RDIMM 
 Network: 2*25 Gigabit Ethernet, 100 Gbit/s EDR InfiniBand, 100 Gbit/s Omni-Path 
 SSD: 8*Intel SSD DC P4510, 64-Layer TLC 3D NAND, 4TB 6.3PBW, 2.5in U.2 15mm, PCIe 3.1 x4 NVMe 
 保护：元数据和数据双副本 
 
 /bbfs/fs*/ 
 所有文件系统（/fs*/）均在此目录中有映射，/bbfs/fs*/ 是 /fs*/ 的高速缓存，在 /bbfs/fs*/ 中重读和写入具有极高的性能，与直接在 /fs*/ 下相比有显著提升，保存在 /bbfs/fs*/ 下的文件会自动回写 /fs*/ 保存。 
 如：作业输入文件位于 /fsb/home/yaoge/yaoge/in，如果此输入文件近期会被读取多次（无论是单个作业还是多个作业），则应将输入文件路径指定为 /bbfs/fsb/home/yaoge/yaoge/in，那么从第二次开始均从高速SSD上读取，减少作业读取文件上花费的时间。 
 如：作业输出文件如较大，则应将数据文件路径指定为 /bbfs/fsb/home/yaoge/yaoge/out，那么将直接写入高速SSD中，然后系统会自动将文件回写到 /fsb/home/yaoge/yaoge/out 便于长期保存，减少作业写入文件上花费的时间。 
 /bbfs/scratch/ 
 用于保存临时文件，超过30天没有访问（atime）的文件会被自动删除，适合于临时存储计算中间结果、checkpoint等无需长期保留的文件。文件名以 .tmp 和 .temp 结尾的文件保存为单副本（无数据保护）。 
 如：作业运行过程中保存的Check Point文件或多个作业之间通过临时文件传输数据，这些文件无需长期保存，则可以保存在/bbfs/scratch/yaoge目录下，读写均在高速SSD上。 

 家目录（Tier 1） 
 特点：温数据、中性能 

 /fsb 
 
 购置者：公共共享100% 
 可用容量：1.26 PiB 
 

 
 系统：Lenovo DSS-G 210 
 节点：2*Lenovo ThinkSystem SR655 V3: dss01 dss02 
 网络：2*25 Gigabit Ethernet, 200 Gbit/s HDR InfiniBand 
 JBOD：1*Lenovo D4390 
 硬盘：88*Western Digital Ultrastar DC HC570 22TB 3.5-inch 7.2Krpm 12Gb/s SAS，2*Samsung PM1655 800GB 3DWPD 2.5-inch 24Gb/s SAS 24Gb 
 保护：数据 Reed-Solomon code 8+2p，元数据 3副本 
 
 /fs04 
 
 购置者：万贤纲100% 
 可用容量：13.1 TiB 
 IO存储节点：Dell PowerEdge 12G R720xd: io08 
 网络：2*10 Gigabit Ethernet 
 RAID卡：Dell PERC H710P Mini (LSI SAS2208 ROC), 1GB cache with Intelligent Battery Backup Unit 
 硬盘：900GB 2.5-inch 10Krpm 6Gb/s SAS，每5个盘做一组RAID5，4组RAID5，2个热备盘 
 
 /fs08 
 
 购置者：孙建100% 
 可用容量：13.1 TiB 
 IO节点：2*Inspur NF5270M3: io10 io11 
 网络：2*1 Gigabit Ethernet, 40 Gbit/s QDR InfiniBand 
 存储：Inspur AS500H (NetApp E2600)，双控制器，每控制器 4GB 缓存带电池备份至闪存，Write caching with mirroring, High Performance Tier 
 硬盘：900GB 2.5-inch 10Krpm 6Gb/s SAS，每5个盘做一组RAID5，4组RAID5，2个全局热备盘 
 
 /fs09 
 
 购置者：孙建100% 
 可用容量：23.5 TiB 
 IO节点：2*Inspur NF5270M3: io10 io11 
 网络：2*1 Gigabit Ethernet, 40 Gbit/s QDR InfiniBand 
 存储：Inspur AS500H (NetApp E2600)，双控制器，每控制器 4GB 缓存带电池备份至闪存，Write caching with mirroring, High Performance Tier 
 硬盘：3TByte 3.5-inch 7.2Krpm 6Gb/s NL-SAS，12个盘做一个Disk Pool，保留1个硬盘空间，做2个Virtual Disk 
 
 /fs10 
 
 购置者：王强华100% 
 可用容量：9.8 TiB 
 IO存储节点：Inspur NF5270M3: io12 
 网络：2*1 Gigabit Ethernet, 40 Gbit/s QDR InfiniBand 
 RAID卡：LSI MegaRAID SAS 9271-8i (LSI SAS2208 ROC), 1GB缓存超级电容备份至闪存 
 硬盘：900GB 2.5-inch 10Krpm 6Gb/s SAS，每5个盘做一组RAID5，3组RAID5，1个全局热备盘 
 
 /fs12 
 
 购置者：张海军100% 
 可用容量：13.1 TiB 
 IO节点：2*HP ProLiant DL380 Gen9: io01 io02 
 网络：2*10 Gigabit Ethernet, 56 Gbit/s FDR InfiniBand 
 存储：HP MSA 2040 SAN，双控制器，每控制器 4GB 缓存带超级电容备份至闪存 
 硬盘：900GB 2.5-inch 10Krpm 6Gb/s SAS，每5个盘做一组RAID5，4组RAID5，3个全局热备盘 
 
 /fs13 
 
 购置者：张海军100% 
 可用容量：29.1 TiB 
 IO节点：2*HP ProLiant DL380 Gen9: io01 io02 
 网络：2*10 Gigabit Ethernet, 56 Gbit/s FDR InfiniBand 
 存储：HP MSA 2040 SAN，双控制器，每控制器 4GB 缓存带超级电容备份至闪存 
 硬盘：4TByte 3.5-inch 7.2Krpm 6Gb/s SAS，每6个盘做一组RAID6，2组RAID6，1个冷备盘 
 
 /fs14 
 
 购置者：陈申见100% 
 可用容量：262 TiB 
 IO节点：Dell PowerEdge R730: io13 
 网络：2*10 Gigabit Ethernet 
 RAID卡：Dell PERC H730P Mini (LSI SAS3108 ROC), 2GB NV cache with Intelligent Battery Backup Unit 
 硬盘：8TByte 3.5-inch 7.2Krpm 12Gb/s SAS，6个盘做一组RAID6 
 RAID卡：Dell PERC H830 (LSI SAS3108 ROC), 2GB NV cache with Intelligent Battery Backup Unit 
 JBOD：8TByte 3.5-inch 7.2Krpm 12Gb/s SAS，6个盘做一组RAID6，8组RAID6 
 
 支撑目录 
 /fs00 

 
 购置者：公共共享100% 
 可用容量：3.3 TB 
 

 
 IO节点：HP ProLiant DL380 Gen9: io01 io02 
 网络：2*10 Gigabit Ethernet, 56 Gbit/s FDR InfiniBand 
 存储：HP MSA 2040 SAN，双控制器，每控制器 4GB 缓存带超级电容备份至闪存 
 硬盘：900GB 2.5-inch 10Krpm 6Gb/s SAS，2个盘做一组RAID1，2组RAID1，1个全局热备盘 
 IO节点：Inspur NF5270M3: io10 io11 
 网络：2*1 Gigabit Ethernet, 40 Gbit/s QDR InfiniBand 
 存储：Inspur AS500H (NetApp E2600)，双控制器，每控制器 4GB 缓存带电池备份至闪存，Write caching with mirroring, High Performance Tier 
 硬盘：900GB 2.5-inch 10Krpm 6Gb/s SAS，2个盘做一组RAID1，2个全局热备盘 
 IO存储节点：Inspur NF5270M3: io12 
 网络：2*1 Gigabit Ethernet, 40 Gbit/s QDR InfiniBand 
 RAID卡：LSI MegaRAID SAS 9271-8i (LSI SAS2208 ROC), 1GB cache with Battery Backup Unit 
 硬盘：900GB 2.5-inch 10Krpm 6Gb/s SAS，2个盘做一组RAID1，1个全局热备盘 
 保护：RAID1+元数据和数据双副本 
 
 归档存储（Tier 2） 
 特点：冷数据、低性能、快照 
 /archive 
 
 购置者：公共共享100% 
 可用容量：2.88 PiB 
 快照：每日0时创建；每天快照保留7天，每周快照保留4周 
 IO存储节点：Dell PowerEdge R740xd: zfs 
 网络：2*25 Gigabit Ethernet 
 保护：RAID-Z3 
 访问范围：/archive 仅登录节点 
 
 快照 
 快照是特定时间点数据的只读副本，用户可以从中恢复删除的文件或文件的过往版本，可以在文件系统目录/.zfs/snapshot中查找。 
 如：/archive的快照位于/archive/.zfs/snapshot，/archive/.zfs/snapshot/20220904-0000是2022年9月4日0时0分创建的快照，在这个目录下可以查阅快照创建时间点的所有文件。 
 对象存储（Tier 2） 
 打破壁垒实现集群内外数据的统一访问。同一份数据，集群内外共同使用，访问方式相同，再无迁移数据的烦恼！ 
 s3.nju.edu.cn 
 
 购置者：公共共享100% 
 裸容量：2.12 PB 
 系统：紫光西部数据 UniverStor P20000 
 网络：12*10 Gigabit Ethernet 
 保护：纠删码 Large object: 15/4, Small object: 6/4 
 协议：S3 
 Endpoint: http://s3.nju.edu.cn OR https://s3.nju.edu.cn 
 Region: “空” 或 us-east-1 
 访问范围：集群、校园网、互联网 
 
 临时目录 
 
 计算和登录节点的本地目录，节点间相互独立不能跨节点互访 
 超过24小时未访问且节点无文件所有者进程的文件会被自动删除 
 
 /tmp/ /var/tmp/ 
 节点本地根文件系统的临时文件目录 
 /dev/shm/ 
 节点内存中的临时文件系统目录，容量为总内存的一半，重启不保留 
 /ssd/ /tmp/ssd 
 部分节点有额外的SSD用于临时存储，则挂载于此目录