集成云盘
登录方式
首次登录
Web登录(图形和命令行界面)
SSH登录(命令行界面)
YaoGe123123456YaoGe123 123456SFTP登录(文件传输)
YaoGe123123456YaoGe123 123456登录注意事项
$ 数据传输
数据拷贝
为方便大数据传输,中心提供数据拷贝服务,用户需提供支持 USB 3.0 接口的大容量移动硬盘存储设备,文件系统格式化为 exFAT/ext4/XFS ,并告知需要拷贝数据的目录(绝对路径),保证目录的容量小于移动存储的空余空间。
高性能计算集群和云盘已紧密集成。
集成云盘
独立账号
高性能计算集群用户可以使用集群账号直接登录云盘,用户名为集群账号@hpc.nju.edu.cn,密码即集群账号密码;如集群账号为yaoge,用户名填写yaoge@hpc.nju.edu.cn。首次使用需要登录网页端激活账号,但集群账号不能使用云盘的上下传外链功能。
云盘上的集群账号与南京大学统一身份认证账号相互独立,如集群账号yaoge@hpc.nju.edu.cn和南京大学统一身份认证账号0102003是两个完全独立的账号,需要分别激活才能使用。
文件同步
通过云盘的多平台多终端同步功能,可将集群中的目录和本地计算机的目录同步,对本地目录的操作几乎立刻反应在集群的目录中,不再需要通过 SFTP 上下传文件。
- 计算结果输出到集群同步目录中,本地计算机会自动下载,可在本地直接查看和编辑输出文件;
- 计算输入文件放到本地同步目录中,集群会自动下载,直接引用输入文件即可提交作业。
客户端
登录节点已安装云盘同步客户端和挂载盘客户端
- 同步客户端命令行界面:seaf-cli(Linux命令行客户端手册)
- 同步客户端图形化界面:seafile-applet
- 挂载盘客户端命令行界面:seadrive(Linux命令行挂载盘手册)
- 挂载盘客户端图形化界面:seadrive-gui
挂载盘命令行客户端使用简介
-
获取Token(
<username>替换为集群账号,<password>替换为密码)curl -d "username=<username>@hpc.nju.edu.cn" -d "password=<password>" https://box.nju.edu.cn/api2/auth-token/ -
创建配置文件
~/seadrive.conf,<username>替换为集群账号,<token>替换为上一步的返回值[account] server = https://box.nju.edu.cn username = <username>@hpc.nju.edu.cn token = <token> is_pro = true [general] client_name = hpc-login [cache] size_limit = 10GB clean_cache_interval = 10 -
启动挂载盘,命令在前台运行,新开一个窗口进行其它操作
seadrive -c ~/seadrive.conf -f -d ~/.seadrive/data -l ~/.seadrive/data/logs/seadrive.log ~/SeaDrive -
如果报错
Transport endpoint is not connected,执行:fusermount -u ~/SeaDrive -
~/SeaDrive目录就是云盘挂载在本地的目录,可以直接读写访问
同步命令行客户端使用简介
- 创建客户端本地数据目录(目录名可更改):
mkdir ~/Seafile - 初始化客户端并指定本地数据目录(上一步创建的目录):
seaf-cli init -d ~/Seafile - 启动客户端:
seaf-cli start - 列出云盘资料库ID(
<username>替换为集群账号)seaf-cli list-remote -s https://box.nju.edu.cn -u <username>@hpc.nju.edu.cn - 将本地目录与云盘资料库同步(
<library-id>替换为上一步列出的某个资料库ID,<folder>替换为本地目录)seaf-cli sync -s https://box.nju.edu.cn -u <username>@hpc.nju.edu.cn -l <library-id> -d <folder> - 将云盘资料库下载到本地目录
seaf-cli download -s https://box.nju.edu.cn -u <username>@hpc.nju.edu.cn -l <library-id> -d <folder> - 将本地目录解除同步:
seaf-cli desync -d <folder> - 查看当前同步状态:
seaf-cli status - 停止客户端:
seaf-cli stop
存储配额
并行文件系统fsa等有存储空间配额,存储空间收费按照配额收费。
查看配额方法如下,用户和组配额同时生效
[yaoge ~]$ myquota
用户或组占用存储空间超过配额但是<10%的,可以在7天宽限期内降低至配额以内,超期将无法写入任何数据;超过配额>10%,立刻无法写入任何数据,需要降低至配额以内才能写入数据。
环境变量
集群使用Environment Modules以模块的形式对环境变量进行管理。在高性能计算集群系统中,安装有多种软件及其不同版本,它们需要设置不同的环境变量,Environment Module可以将这些环境变量做成模块文件(modulefile)。模块可以被加载(load)、卸载(unload)、切换(switch)等,这些操作会改变相应的环境变量设置,让用户方便的在不同环境之间切换。相比将环境变量设置写入/etc/profile、~/.bashrc或~/.bash_profile,Environment Module操作只影响当前用户的当前登录环境;相比直接source文件,Environment Module的操作可以撤销(卸载)。普通用户还可以自己编写module,具有很好的定制性。用户不仅可以在命令行中Environment Modules,也能在作业提交脚本中使用,对编译和计算环境都能够很好的控制。
常用命令
模块命名规则
软件名/版本-编译器-版本-库-版本
非 Bash
使用非Bash作为Login Shell的用户,请在作业提交脚本的首行指明Shell或使用bsub参数-L指定作业运行时Login Shell为Bash
如Login Shell为tcsh,使用下面两种方法中的一种
#!/bin/tcsh #首行指明Shell
#BSUB ...
...
...
#BSUB -L /bin/bash #指定运行时Login Shell为Bash
...
例
$ module avail #查看所有可用模块
------------------------------ /fs00/software/modulefiles ------------------------------
gcc/5.2.0 impi/5.0.3.048
iccifort/15.0.3 ips/2011sp1u3
ics/2013 ips/2015u3
ics/2013sp1u1 openmpi/1.10.0-gcc-5.2.0
imkl/11.2.3 openmpi/1.10.0-iccifort-15.0.3
$ module list #显示已加载模块
No Modulefiles Currently Loaded. #没有模块被加载
$ icc --version #故icc找不到
-bash: icc: command not found
$ module whatis ips/2015u3 #查看模块说明
ips/2015u3 : Intel Parallel Studio XE 2015 Update 3 Cluster Edition
$ module load ips/2015u3 #加载模块
$ icc --version
icc (ICC) 15.0.3 20150407
Copyright (C) 1985-2015 Intel Corporation. All rights reserved.
$ module list #显示已加载模块
Currently Loaded Modulefiles:
1) ips/2015u3
$ module unload ips/2015u3 #卸载模块
登录方式entry
仅限受邀用户内部测试