集成云盘
登录方式
首次登录
- 因为需要进行两步认证绑定,故首次登录必须使用Web浏览器
- 在计算机上使用Web浏览器访问 https://access.nju.edu.cn
- 输入用户名、密码登录
- 手机安装 Google Authenticator 、 Microsoft Authenticator 、 Red Hat FreeOTP 、 LastPass Authenticator 等兼容 APP ,扫描二维码(也可手动输入),然后点击“完成绑定”
- 输入手机 APP 中的动态口令登录
- 下载安装或升级客户端插件
Web登录(图形和命令行界面)
- 使用Web浏览器访问 https://access.nju.edu.cn
- 输入用户名、密码登录
- 输入手机 APP 中的动态口令登录
- 下载安装或升级客户端插件,需要 Java 运行环境
- Web 支持图形界面 xfce4/vnc、命令行界面 ssh ,Web 不支持 SFTP !
- 图形界面修改分辨率:Applications - Settings - Display - Resolution
SSH登录(命令行界面)
- 地址:access.nju.edu.cn,端口:22(默认)
- 输入用户名
- 输入密码+空格+动态口令(如密码是
YaoGe123
,手机APP动态口令是123456
,则输入YaoGe123 123456
) - SSH 不支持图形(X11-Forwarding)
- SSH 客户端:Putty、Xshell、Bitvise SSH Client、iTerm2、Termius……
SFTP登录(文件传输)
- 地址:access.nju.edu.cn,端口:22(默认)
- 输入用户名
- 输入密码+空格+动态口令(如密码是
YaoGe123
,手机APP动态口令是123456
,则输入YaoGe123 123456
) - SFTP 路径有特殊前缀(/hpc_login1 sftp (10.1.0.101)/self)
- SFTP 客户端:FileZilla、Xftp、WinSCP、Bitvise SSH Client、Cyberduck、SFTP Drive、SSHFS、LFTP
- FileZilla 须在站点(Site)的“传输设置 (Transfer Settings) ”中勾选“限制并发连接数 (Limit number of simultaneous connections) ”并设置“最大连接数 (Maximum number of connections) ”为 1
- WinSCP 不可使用 “后台传输 (Background Transfers) ”
- Cyberduck 须在“新建书签 (New Bookmark) ”中设置“传输文件 (Transfer Files) ”为“使用浏览器连接 (Use browser connection) ”
- SFTP Drive 须设置“ Authentication Type ”为“ Keyboard Interactive ”
登录注意事项
- SSH 登录后用 passwd 更改密码,密码至少8个字符,包含小写字母、大写字母、数字和特殊字符中的至少三种,不能是常见密码
- 连续输错5次密码(含动态口令),账号锁定5分钟
- 只有最新绑定的动态口令有效,为避免混淆建议在绑定前先删除老的条目,动态口令仅用于登录 access.nju.edu.cn
- 必须通过作业调度系统进行计算,不得在登录节点或计算节点直接运行计算程序,否则会被杀掉进程
- 小心更改PS1环境变量,最后必须以
$
结尾($+空格)
数据传输
- SFTP:使用SFTP客户端浏览并传输文件,适合大文件和整个目录的上下传。
- ZMODEM:在登录节点上可用rz上传文件、sz下载文件,适合单个小文件的上下传。
- 云盘:通过云盘自动同步和备份文件。
- 数据拷贝:直接使用移动硬盘拷贝大量数据文件。
数据拷贝
为方便大数据传输,中心提供数据拷贝服务,用户需提供支持 USB 3.0 接口的大容量移动硬盘存储设备,文件系统格式化为 exFAT/ext4/XFS ,并告知需要拷贝数据的目录(绝对路径),保证目录的容量小于移动存储的空余空间。
- 使用 Windows 的用户,建议将存储设备格式化为 exFAT ,exFAT 可以方便的同时被 Windows 和 Linux 读写,但是对于机械硬盘不适于长期使用。
- 使用 Linux 的用户,建议将存储设备格式化为 ext4 或 XFS 。
高性能计算集群和云盘已紧密集成。
集成云盘
独立账号
高性能计算集群用户可以使用集群账号直接登录云盘,用户名为集群账号@hpc.nju.edu.cn
,密码即集群账号密码;如集群账号为yaoge
,用户名填写yaoge@hpc.nju.edu.cn
。首次使用需要登录网页端激活账号,但集群账号不能使用云盘的上下传外链功能。
云盘上的集群账号与南京大学统一身份认证账号相互独立,如集群账号yaoge@hpc.nju.edu.cn
和南京大学统一身份认证账号0102003
是两个完全独立的账号,需要分别激活才能使用。
文件同步
通过云盘的多平台多终端同步功能,可将集群中的目录和本地计算机的目录同步,对本地目录的操作几乎立刻反应在集群的目录中,不再需要通过 SFTP 上下传文件。
- 计算结果输出到集群同步目录中,本地计算机会自动下载,可在本地直接查看和编辑输出文件;
- 计算输入文件放到本地同步目录中,集群会自动下载,直接引用输入文件即可提交作业。
客户端
登录节点已安装云盘同步客户端和挂载盘客户端
- 同步客户端命令行界面:seaf-cli(Linux命令行客户端手册)
- 同步客户端图形化界面:seafile-applet
- 挂载盘客户端命令行界面:seadrive(Linux命令行挂载盘手册)
- 挂载盘客户端图形化界面:seadrive-gui
挂载盘命令行客户端使用简介
-
获取Token(
<username>
替换为集群账号,<password>
替换为密码)curl -d "username=<username>@hpc.nju.edu.cn" -d "password=<password>" https://box.nju.edu.cn/api2/auth-token/
-
创建配置文件
~/seadrive.conf
,<username>
替换为集群账号,<token>
替换为上一步的返回值[account] server = https://box.nju.edu.cn username = <username>@hpc.nju.edu.cn token = <token> is_pro = true [general] client_name = hpc-login [cache] size_limit = 10GB clean_cache_interval = 10
-
启动挂载盘,命令在前台运行,新开一个窗口进行其它操作
seadrive -c ~/seadrive.conf -f -d ~/.seadrive/data -l ~/.seadrive/data/logs/seadrive.log ~/SeaDrive
-
如果报错
Transport endpoint is not connected
,执行:fusermount -u ~/SeaDrive
-
~/SeaDrive
目录就是云盘挂载在本地的目录,可以直接读写访问
同步命令行客户端使用简介
- 创建客户端本地数据目录(目录名可更改):
mkdir ~/Seafile
- 初始化客户端并指定本地数据目录(上一步创建的目录):
seaf-cli init -d ~/Seafile
- 启动客户端:
seaf-cli start
- 列出云盘资料库ID(
<username>
替换为集群账号)seaf-cli list-remote -s https://box.nju.edu.cn -u <username>@hpc.nju.edu.cn
- 将本地目录与云盘资料库同步(
<library-id>
替换为上一步列出的某个资料库ID,<folder>
替换为本地目录)seaf-cli sync -s https://box.nju.edu.cn -u <username>@hpc.nju.edu.cn -l <library-id> -d <folder>
- 将云盘资料库下载到本地目录
seaf-cli download -s https://box.nju.edu.cn -u <username>@hpc.nju.edu.cn -l <library-id> -d <folder>
- 将本地目录解除同步:
seaf-cli desync -d <folder>
- 查看当前同步状态:
seaf-cli status
- 停止客户端:
seaf-cli stop
存储配额
并行文件系统fsa等有存储空间配额,存储空间收费按照配额收费。
查看配额方法如下,用户和组配额同时生效
[yaoge ~]$ myquota
用户或组占用存储空间超过配额但是<10%的,可以在7天宽限期内降低至配额以内,超期将无法写入任何数据;超过配额>10%,立刻无法写入任何数据,需要降低至配额以内才能写入数据。
环境变量
集群使用Environment Modules以模块的形式对环境变量进行管理。在高性能计算集群系统中,安装有多种软件及其不同版本,它们需要设置不同的环境变量,Environment Module可以将这些环境变量做成模块文件(modulefile)。模块可以被加载(load)、卸载(unload)、切换(switch)等,这些操作会改变相应的环境变量设置,让用户方便的在不同环境之间切换。相比将环境变量设置写入/etc/profile、~/.bashrc或~/.bash_profile,Environment Module操作只影响当前用户的当前登录环境;相比直接source文件,Environment Module的操作可以撤销(卸载)。普通用户还可以自己编写module,具有很好的定制性。用户不仅可以在命令行中Environment Modules,也能在作业提交脚本中使用,对编译和计算环境都能够很好的控制。
常用命令
- 显示module帮助:module help
- 显示所有可用模块:module avail
- 显示已加载模块:module list
- 加载模块:module load MODULEFILE
- 卸载模块:module unload MODULEFILE
- 切换模块:module switch OLD_MODULEFILE NEW_MODULEFILE(等价于:module unload OLD_MODULEFILE; module load NEW_MODULEFILE)
- 卸载所有已加载模块:module purge
- 显示模块说明:module whatis MODULEFILE
- 显示模块内容:module display MODULEFILE
模块命名规则
软件名/版本-编译器-版本-库-版本
非 Bash
使用非Bash作为Login Shell的用户,请在作业提交脚本的首行指明Shell或使用bsub参数-L指定作业运行时Login Shell为Bash
如Login Shell为tcsh,使用下面两种方法中的一种
#!/bin/tcsh #首行指明Shell
#BSUB ...
...
...
#BSUB -L /bin/bash #指定运行时Login Shell为Bash
...
例
$ module avail #查看所有可用模块
------------------------------ /fs00/software/modulefiles ------------------------------
gcc/5.2.0 impi/5.0.3.048
iccifort/15.0.3 ips/2011sp1u3
ics/2013 ips/2015u3
ics/2013sp1u1 openmpi/1.10.0-gcc-5.2.0
imkl/11.2.3 openmpi/1.10.0-iccifort-15.0.3
$ module list #显示已加载模块
No Modulefiles Currently Loaded. #没有模块被加载
$ icc --version #故icc找不到
-bash: icc: command not found
$ module whatis ips/2015u3 #查看模块说明
ips/2015u3 : Intel Parallel Studio XE 2015 Update 3 Cluster Edition
$ module load ips/2015u3 #加载模块
$ icc --version
icc (ICC) 15.0.3 20150407
Copyright (C) 1985-2015 Intel Corporation. All rights reserved.
$ module list #显示已加载模块
Currently Loaded Modulefiles:
1) ips/2015u3
$ module unload ips/2015u3 #卸载模块
登录方式entry
仅限受邀用户内部测试
首次登录
- 因为需要进行两步认证绑定,故首次登录必须使用Web浏览器
- 在计算机上使用Web浏览器访问 https://entry.nju.edu.cn
- 输入用户名、密码登录
- 手机安装 Google Authenticator、Microsoft Authenticator、Red Hat FreeOTP、LastPass Authenticator 等兼容APP,扫描二维码(也可手动输入),然后点击“完成绑定”
- 输入手机APP中的动态口令提交
- 下载安装或升级客户端插件
Web登录
- 使用Web浏览器访问 https://entry.nju.edu.cn
- 输入用户名、密码登录
- 输入手机APP中的动态口令提交
- 下载安装或升级客户端插件,需要Java运行环境
- Web支持图形界面xfwd/vnc、命令行界面ssh,文件传输sftp
- 图形界面修改分辨率:Applications - Settings - Display - Resolution
SSH登录(命令行界面)
- 地址:entry.nju.edu.cn,端口:22(默认)
- 输入用户名
- 输入密码
- 输入手机APP中的动态口令
- SSH不支持图形(X11-Forwarding)
- SSH客户端:Putty、Xshell、Bitvise SSH Client、iTerm2、Termius……
SFTP登录(文件传输)
- 地址:entry.nju.edu.cn,端口:22(默认)
- 输入用户名/10.1.0.101/self(如用户名是yaoge,则输入yaoge/10.1.0.101/self)
- 输入密码+空格+动态口令(如密码是YaoGe123,手机APP动态口令是123456,则输入YaoGe123 123456)
- SFTP客户端:FileZilla、Xftp、WinSCP、Bitvise SSH Client、Cyberduck、SFTP Drive、SSHFS、LFTP
- FileZilla 须在站点(Site)的“传输设置(Transfer Settings)”中勾选“限制并发连接数(Limit number of simultaneous connections)”并设置“最大连接数(Maximum number of connections)”为 1
- WinSCP 不可使用 “后台传输(Background Transfers)”
- Cyberduck 须在“新建书签(New Bookmark)”中设置“传输文件(Transfer Files)”为“使用浏览器连接(Use browser connection)”
- SFTP Drive 须设置“Authentication Type”为“Keyboard Interactive”
登录注意事项
- SSH登录后用passwd更改密码,密码至少8个字符,包含小写字母、大写字母、数字和特殊字符中的至少三种,不能是常见密码
- 连续输错5次密码(含动态口令),账号锁定5分钟
- 只有最新绑定的动态口令有效,为避免混淆建议在绑定前先删除老的条目,动态口令仅用于登录entry.nju.edu.cn
- 必须通过作业调度系统进行计算,不得在登录节点或计算节点直接运行计算程序,否则会被杀掉进程
- 小心更改PS1环境变量,最后必须以“$ ”结尾($+空格)