集成云盘
登录方式
首次登录
Web登录(图形和命令行界面)
SSH登录(命令行界面)
YaoGe123,手机APP动态口令是123456,则输入YaoGe123 123456)
SSH 不支持图形(X11-Forwarding)
SSH 客户端:Putty、Xshell、Bitvise SSH Client、iTerm2、Termius……
SFTP登录(文件传输)
YaoGe123,手机APP动态口令是123456,则输入YaoGe123 123456)
SFTP 路径有特殊前缀(/hpc_login1 sftp (10.1.0.101)/self)
SFTP 客户端:FileZilla、Xftp、WinSCP、Bitvise SSH Client、Cyberduck、SFTP Drive、SSHFS、LFTP
FileZilla 须在站点(Site)的“传输设置 (Transfer Settings) ”中勾选“限制并发连接数 (Limit number of simultaneous connections) ”并设置“最大连接数 (Maximum number of connections) ”为 1
WinSCP 不可使用 “后台传输 (Background Transfers) ”
Cyberduck 须在“新建书签 (New Bookmark) ”中设置“传输文件 (Transfer Files) ”为“使用浏览器连接 (Use browser connection) ”
SFTP Drive 须设置“ Authentication Type ”为“ Keyboard Interactive ”
登录注意事项
$ 结尾($+空格)
数据传输
数据拷贝
为方便大数据传输,中心提供数据拷贝服务,用户需提供支持 USB 3.0 接口的大容量移动硬盘存储设备,文件系统格式化为 exFAT/ext4/XFS ,并告知需要拷贝数据的目录(绝对路径),保证目录的容量小于移动存储的空余空间。
高性能计算集群和云盘已紧密集成。
集成云盘
独立账号
高性能计算集群用户可以使用集群账号直接登录云盘,用户名为集群账号@hpc.nju.edu.cn,密码即集群账号密码;如集群账号为yaoge,用户名填写yaoge@hpc.nju.edu.cn。首次使用需要登录网页端激活账号,但集群账号不能使用云盘的上下传外链功能。
云盘上的集群账号与南京大学统一身份认证账号相互独立,如集群账号yaoge@hpc.nju.edu.cn和南京大学统一身份认证账号0102003是两个完全独立的账号,需要分别激活才能使用。
文件同步
通过云盘的多平台多终端同步功能,可将集群中的目录和本地计算机的目录同步,对本地目录的操作几乎立刻反应在集群的目录中,不再需要通过 SFTP 上下传文件。
客户端
登录节点已安装云盘同步客户端和挂载盘客户端
挂载盘命令行客户端使用简介
获取Token(<username>替换为集群账号,<password>替换为密码)
curl -d "username=<username>@hpc.nju.edu.cn" -d "password=<password>" https://box.nju.edu.cn/api2/auth-token/
创建配置文件~/seadrive.conf,<username>替换为集群账号,<token>替换为上一步的返回值
[account]
server = https://box.nju.edu.cn
username = <username>@hpc.nju.edu.cn
token = <token>
is_pro = true
[general]
client_name = hpc-login
[cache]
size_limit = 10GB
clean_cache_interval = 10
启动挂载盘,命令在前台运行,新开一个窗口进行其它操作
seadrive -c ~/seadrive.conf -f -d ~/.seadrive/data -l ~/.seadrive/data/logs/seadrive.log ~/SeaDrive
如果报错Transport endpoint is not connected,执行:fusermount -u ~/SeaDrive
~/SeaDrive 目录就是云盘挂载在本地的目录,可以直接读写访问
同步命令行客户端使用简介
mkdir ~/Seafile
初始化客户端并指定本地数据目录(上一步创建的目录):seaf-cli init -d ~/Seafile
启动客户端:seaf-cli start
列出云盘资料库ID(<username>替换为集群账号)
seaf-cli list-remote -s https://box.nju.edu.cn -u <username>@hpc.nju.edu.cn
将本地目录与云盘资料库同步(<library-id>替换为上一步列出的某个资料库ID,<folder>替换为本地目录)
seaf-cli sync -s https://box.nju.edu.cn -u <username>@hpc.nju.edu.cn -l <library-id> -d <folder>
将云盘资料库下载到本地目录
seaf-cli download -s https://box.nju.edu.cn -u <username>@hpc.nju.edu.cn -l <library-id> -d <folder>
将本地目录解除同步:seaf-cli desync -d <folder>
查看当前同步状态:seaf-cli status
停止客户端:seaf-cli stop
存储配额
并行文件系统fsa等有存储空间配额,存储空间收费按照配额收费。
查看配额方法如下,用户和组配额同时生效
[yaoge ~]$ myquota
用户或组占用存储空间超过配额但是<10%的,可以在7天宽限期内降低至配额以内,超期将无法写入任何数据;超过配额>10%,立刻无法写入任何数据,需要降低至配额以内才能写入数据。
环境变量
集群使用Environment Modules以模块的形式对环境变量进行管理。在高性能计算集群系统中,安装有多种软件及其不同版本,它们需要设置不同的环境变量,Environment Module可以将这些环境变量做成模块文件(modulefile)。模块可以被加载(load)、卸载(unload)、切换(switch)等,这些操作会改变相应的环境变量设置,让用户方便的在不同环境之间切换。相比将环境变量设置写入/etc/profile、~/.bashrc或~/.bash_profile,Environment Module操作只影响当前用户的当前登录环境;相比直接source文件,Environment Module的操作可以撤销(卸载)。普通用户还可以自己编写module,具有很好的定制性。用户不仅可以在命令行中Environment Modules,也能在作业提交脚本中使用,对编译和计算环境都能够很好的控制。
常用命令
模块命名规则
软件名/版本-编译器-版本-库-版本
非 Bash
使用非Bash作为Login Shell的用户,请在作业提交脚本的首行指明Shell或使用bsub参数-L指定作业运行时Login Shell为Bash
如Login Shell为tcsh,使用下面两种方法中的一种
#!/bin/tcsh #首行指明Shell
#BSUB ...
...
...
#BSUB -L /bin/bash #指定运行时Login Shell为Bash
...
例
$ module avail #查看所有可用模块
------------------------------ /fs00/software/modulefiles ------------------------------
gcc/5.2.0 impi/5.0.3.048
iccifort/15.0.3 ips/2011sp1u3
ics/2013 ips/2015u3
ics/2013sp1u1 openmpi/1.10.0-gcc-5.2.0
imkl/11.2.3 openmpi/1.10.0-iccifort-15.0.3
$ module list #显示已加载模块
No Modulefiles Currently Loaded. #没有模块被加载
$ icc --version #故icc找不到
-bash: icc: command not found
$ module whatis ips/2015u3 #查看模块说明
ips/2015u3 : Intel Parallel Studio XE 2015 Update 3 Cluster Edition
$ module load ips/2015u3 #加载模块
$ icc --version
icc (ICC) 15.0.3 20150407
Copyright (C) 1985-2015 Intel Corporation. All rights reserved.
$ module list #显示已加载模块
Currently Loaded Modulefiles:
1) ips/2015u3
$ module unload ips/2015u3 #卸载模块
登录方式entry
仅限受邀用户内部测试