Skip to main content

存储资源

合计

  • 总容量:2.8 PiB

总览

  • 高速全闪:bbfs
  • 家目录:fsa、fs04、fs08、fs09、fs10、fs12、fs13、fs14
  • 归档存储:/archive

表格

查看表格

并行存储

高速全闪(Tier 0)

特点:热数据、高性能、双/单副本

/bbfs

采用全NVMe SSD构建的高性能Burst Buffer,具备极高的顺序和随机读写性能,无快照。

  • 文件系统:bbfs
  • 购置者:公共共享100%
  • 可用容量:117 TiB
  • IO节点:4*HPE ProLiant DL380 Gen10: bb01 bb02 bb03 bb04
  • CPU: 2*Intel Xeon Gold 5122 (2 Cores, 16.5MB Cache, 3.60 GHz)
  • RAM: 192 GB (12x16GB), 6 Channels, DDR4-2666 ECC RDIMM
  • Network: 2*25 Gigabit Ethernet, 100 Gbit/s EDR InfiniBand, 100 Gbit/s Omni-Path
  • SSD: 8*Intel SSD DC P4510, 64-Layer TLC 3D NAND, 4TB 6.3PBW, 2.5in U.2 15mm, PCIe 3.1 x4 NVMe
  • 保护:元数据和数据双副本

/bbfs/fs*/

所有文件系统(/fs*/)均在此目录中有映射,/bbfs/fs*/ 是 /fs*/ 的高速缓存,在 /bbfs/fs*/ 中重读和写入具有极高的性能,与直接在 /fs*/ 下相比有显著提升,保存在 /bbfs/fs*/ 下的文件会自动回写 /fs*/ 保存。

如:作业输入文件位于 /fsa/home/yaoge/in,如果此输入文件近期会被读取多次(无论是单个作业还是多个作业),则应将输入文件路径指定为 /bbfs/fsa/home/yaoge/in,那么从第二次开始均从高速SSD上读取,减少作业读取文件上花费的时间。

如:作业输出文件如较大,则应将数据文件路径指定为 /bbfs/fsa/home/yaoge/out,那么将直接写入高速SSD中,然后系统会自动将文件回写到 /fsa/home/yaoge/out 便于长期保存,减少作业写入文件上花费的时间。

/bbfs/scratch/

用于保存临时文件,超过30天没有访问(atime)的文件会被自动删除,适合于临时存储计算中间结果、checkpoint等无需长期保留的文件。文件名以 .tmp 和 .temp 结尾的文件保存为单副本(无数据保护)。

如:作业运行过程中保存的Check Point文件或多个作业之间通过临时文件传输数据,这些文件无需长期保存,则可以保存在/bbfs/scratch/yaoge目录下,读写均在高速SSD上。

家目录(Tier 1)

特点:温数据、普通性能、快照

快照

快照是特定时间点数据的只读副本,用户可以从中恢复删除的文件或文件的过往版本。部分家目录文件系统有快照,可以在文件系统目录/.snapshot中查找。

如:/fsa的快照位于/fsa/.snapshots,/fsa/.snapshots/20220804-1800是2022年8月4日18时0分创建的快照,在这个目录下可以查阅快照创建时间点的所有文件。

/fsa

  • 购置者:公共共享100%
  • 可用容量:361 TiB
  • 快照:每日0时创建;每天快照保留7天,每周快照保留2周
  • IO节点:2*HP ProLiant DL380 Gen9: io01 io02
  • 网络:2*10 Gigabit Ethernet, 56 Gbit/s FDR InfiniBand
  • 存储:DDN SFA7700X,双控制器,每控制器 32GB 缓存带电池备份至闪存
  • 硬盘:Data: 10TB 3.5-inch 7.2Krpm 12Gb/s SAS,每10个盘做一组RAID6,5组RAID6。Metadata: Toshiba Enterprise SSD PX02SMU040 MLC 10DWPD 400GB 2.5-inch 12Gb/s SAS,10个盘做一组RAID6。

/fs04

  • 购置者:万贤纲100%
  • 可用容量:14 TiB
  • IO存储节点:Dell PowerEdge 12G R720xd: io08
  • 网络:2*10 Gigabit Ethernet
  • RAID卡:Dell PERC H710P Mini (LSI SAS2208 ROC), 1GB cache with Intelligent Battery Backup Unit
  • 硬盘:900GB 2.5-inch 10Krpm 6Gb/s SAS,每5个盘做一组RAID5,4组RAID5,2个热备盘

/fs08

  • 购置者:孙建100%
  • 可用容量:14 TiB
  • 快照:每日0时创建;每天快照保留3天
  • IO节点:2*Inspur NF5270M3: io10 io11
  • 网络:2*1 Gigabit Ethernet, 40 Gbit/s QDR InfiniBand
  • 存储:Inspur AS500H (NetApp E2600),双控制器,每控制器 4GB 缓存带电池备份至闪存,Write caching with mirroring, High Performance Tier
  • 硬盘:900GB 2.5-inch 10Krpm 6Gb/s SAS,每5个盘做一组RAID5,4组RAID5,2个全局热备盘

/fs09

  • 购置者:孙建100%
  • 可用容量:24 TiB
  • 快照:每日0时创建;每天快照保留7天,每周快照保留2周
  • IO节点:2*Inspur NF5270M3: io10 io11
  • 网络:2*1 Gigabit Ethernet, 40 Gbit/s QDR InfiniBand
  • 存储:Inspur AS500H (NetApp E2600),双控制器,每控制器 4GB 缓存带电池备份至闪存,Write caching with mirroring, High Performance Tier
  • 硬盘:3TByte 3.5-inch 7.2Krpm 6Gb/s NL-SAS,12个盘做一个Disk Pool,保留1个硬盘空间,做2个Virtual Disk

/fs10

  • 购置者:王强华100%
  • 可用容量:9.9 TiB
  • IO存储节点:Inspur NF5270M3: io12
  • 网络:2*1 Gigabit Ethernet, 40 Gbit/s QDR InfiniBand
  • RAID卡:LSI MegaRAID SAS 9271-8i (LSI SAS2208 ROC), 1GB缓存超级电容备份至闪存
  • 硬盘:900GB 2.5-inch 10Krpm 6Gb/s SAS,每5个盘做一组RAID5,3组RAID5,1个全局热备盘

/fs12

  • 购置者:张海军100%
  • 可用容量:14 TiB
  • IO节点:2*HP ProLiant DL380 Gen9: io01 io02
  • 网络:2*10 Gigabit Ethernet, 56 Gbit/s FDR InfiniBand
  • 存储:HP MSA 2040 SAN,双控制器,每控制器 4GB 缓存带超级电容备份至闪存
  • 硬盘:900GB 2.5-inch 10Krpm 6Gb/s SAS,每5个盘做一组RAID5,4组RAID5,3个全局热备盘

/fs13

  • 购置者:张海军100%
  • 可用容量:30 TiB
  • IO节点:2*HP ProLiant DL380 Gen9: io01 io02
  • 网络:2*10 Gigabit Ethernet, 56 Gbit/s FDR InfiniBand
  • 存储:HP MSA 2040 SAN,双控制器,每控制器 4GB 缓存带超级电容备份至闪存
  • 硬盘:4TByte 3.5-inch 7.2Krpm 6Gb/s SAS,每6个盘做一组RAID6,2组RAID6,1个冷备盘

/fs14

  • 购置者:陈申见100%
  • 可用容量:262 TiB
  • IO节点:Dell PowerEdge R730: io13
  • 网络:2*10 Gigabit Ethernet
  • RAID卡:Dell PERC H730P Mini (LSI SAS3108 ROC), 2GB NV cache with Intelligent Battery Backup Unit
  • 硬盘:8TByte 3.5-inch 7.2Krpm 12Gb/s SAS,6个盘做一组RAID6
  • RAID卡:Dell PERC H830 (LSI SAS3108 ROC), 2GB NV cache with Intelligent Battery Backup Unit
  • JBOD:8TByte 3.5-inch 7.2Krpm 12Gb/s SAS,6个盘做一组RAID6,8组RAID6

支撑目录

/fs00

  • 购置者:公共共享100%
  • 可用容量:3.3 TB
  • 快照:每日0时创建;每天快照保留7天,每周快照保留12周
  • IO节点:HP ProLiant DL380 Gen9: io01 io02
  • 网络:2*10 Gigabit Ethernet, 56 Gbit/s FDR InfiniBand
  • 存储:HP MSA 2040 SAN,双控制器,每控制器 4GB 缓存带超级电容备份至闪存
  • 硬盘:900GB 2.5-inch 10Krpm 6Gb/s SAS,2个盘做一组RAID1,2组RAID1,1个全局热备盘
  • IO节点:Inspur NF5270M3: io10 io11
  • 网络:2*1 Gigabit Ethernet, 40 Gbit/s QDR InfiniBand
  • 存储:Inspur AS500H (NetApp E2600),双控制器,每控制器 4GB 缓存带电池备份至闪存,Write caching with mirroring, High Performance Tier
  • 硬盘:900GB 2.5-inch 10Krpm 6Gb/s SAS,2个盘做一组RAID1,2个全局热备盘
  • IO存储节点):Inspur NF5270M3: io12
  • 网络:2*1 Gigabit Ethernet, 40 Gbit/s QDR InfiniBand
  • RAID卡:LSI MegaRAID SAS 9271-8i (LSI SAS2208 ROC), 1GB cache with Battery Backup Unit
  • 硬盘:900GB 2.5-inch 10Krpm 6Gb/s SAS,2个盘做一组RAID1,1个全局热备盘
  • 保护:RAID1+元数据和数据双副本

归档存储(Tier 2)

特点:冷数据、低性能、便宜

/archive

  • 购置者:公共共享100%
  • 可用容量:1.91 PiB
  • 快照:每日0时创建;每天快照保留7天,每周快照保留4周
  • IO存储节点:Dell PowerEdge R740xd: stor.nju.edu.cn
  • 网络:2*25 Gigabit Ethernet
  • 保护:RAID-Z 3
  • 仅登录节点可访问

快照

快照是特定时间点数据的只读副本,用户可以从中恢复删除的文件或文件的过往版本,可以在文件系统目录/.zfs/snapshot中查找。

如:/archive的快照位于/archive/.zfs/snapshot,/archive/.zfs/snapshot/20220904-0000是2022年9月4日0时0分创建的快照,在这个目录下可以查阅快照创建时间点的所有文件。

对象存储(Tier 2)

打破壁垒实现集群内外数据的统一访问。同一份数据,集群内外共同使用,访问方式相同,再无迁移数据的烦恼!

s3.nju.edu.cn

  • 购置者:公共共享100%
  • 裸容量:2.12 PB
  • 系统:紫光西部数据 UniverStor P20000
  • 网络:12*10 Gigabit Ethernet
  • 保护:纠删码 Large object: 15/4, Small object: 6/4
  • 协议:S3
  • Endpoint: http://s3.nju.edu.cn OR https://s3.nju.edu.cn
  • Region: “空” 或 us-east-1
  • 访问范围:集群、校园网、互联网

临时目录

  • 计算和登录节点的本地目录,节点间相互独立不能跨节点互访
  • 超过24小时未访问且节点无文件所有者进程的文件会被自动删除

/tmp/ /var/tmp/

节点本地根文件系统的临时文件目录

/dev/shm/

节点内存中的临时文件系统目录,容量为总内存的一半,重启不保留

/ssd/ /tmp/ssd

部分节点有额外的SSD用于临时存储,则挂载于此目录


退出服务

/fs04
  • 可用容量:885 GB
  • IO存储节点:IBM System x3650: io03
  • RAID卡:IBM ServeRAID 8k (Adaptec), 256MB cache with battery
  • 硬盘:146GB 3.5-inch 10Krpm 3Gb/s SAS,每5个盘做一组RAID5,每节点1组共2组RAID5,每节点1个热备盘
/fs02
  • 可用容量:7.3 TB
  • IO节点:IBM System x3650 M3: io05
  • 网络:Chelsio 20 Gigabit Ethernet
  • 存储:IBM System Storage DS3200, 1GB cache with battery backup
  • 硬盘:2TByte 3.5-inch 7.2Krpm 3Gb/s SATA,6个盘做一组RAID6
/fs06
  • 可用容量:443 GB
  • IO存储节点:HP ProLiant DL380 G5: io09
  • 高速网络:20 Gbit/s DDR InfiniBand
  • RAID卡:HP Smart Array P400, 512MB Battery-Backed Write Cache
  • 硬盘:146GB 2.5-inch 10Krpm 3Gb/s SAS,5个盘做一组RAID5,1个热备盘
/fs07
  • 可用容量:7.3 TB
  • IO节点:HP ProLiant DL380 G5: io09
  • 高速网络:20 Gbit/s DDR InfiniBand
  • 存储:HP StorageWorks MSA2312sa G2 单控制器
  • 硬盘:1TByte 3.5-inch 7.2Krpm 3Gb/s SATA,每6个盘做一组RAID6,2组RAID6
/fs05
  • 可用容量:1010 GB
  • IO存储节点:HP ProLiant DL380 G5: io04
  • RAID卡:HP Smart Array P400, 512MB Battery-Backed Write Cache
  • 硬盘:300GB 2.5-inch 10Krpm 3Gb/s SAS,5个盘做一组RAID5,1个热备盘
/fs05b
  • 可用容量:932 GB
  • IO存储节点:HP ProLiant DL380 G5: io04
  • RAID卡:HP Smart Array P400, 512MB Battery-Backed Write Cache
  • 硬盘:1TByte 2.5-inch 7.2Krpm 3Gb/s NL-SAS,1个盘RAID0
/fs03
  • 可用容量:2.2 TB
  • IO存储节点:Dell PowerEdge 12G R720: io07
  • RAID卡:Dell PERC H710P Mini (LSI SAS2208 ROC), 1GB cache with Intelligent Battery Backup Unit
  • 硬盘:600GB 2.5-inch 10Krpm 6Gb/s SAS,5个盘做一组RAID5,1个热备盘
/fs11
  • 可用容量:16 TB
  • IO节点:Dell PowerEdge 12G R720: io07
  • 存储:Dell MD3200i 单控,2GB cache with battery backup
  • 硬盘:2TByte 3.5-inch 7.2Krpm 6Gb/s NL-SAS,12个盘做一个Disk Pool,保留1个硬盘空间,做一个Virtual Disk
/fs01
  • 文件系统:fs01
  • 购置者:公共共享100%(原邢定钰50%,舒大军50%)
  • 可用容量:4.4 TB
  • IO存储节点:IBM System x3650 M3: io05 io06
  • 网络:Chelsio 2*10 Gigabit Ethernet
  • RAID卡:IBM ServeRAID M5015 (LSI SAS2108 ROC), 512MB cache with Battery Backup Unit
  • 硬盘:300GB 2.5-inch 10Krpm 6Gb/s SAS,每5个盘做一组RAID5,每节点2组共4组RAID5,每节点1个热备盘