Skip to main content

集成云盘

登录方式

首次登录

  1. 因为需要进行两步认证绑定,故首次登录必须使用Web浏览器
  2. 在计算机上使用Web浏览器访问 https://access.nju.edu.cn
  3. 输入用户名、密码登录
  4. 手机安装 Google Authenticator 、 Microsoft Authenticator 、 Red Hat FreeOTP 、 LastPass Authenticator 等兼容 APP ,扫描二维码(也可手动输入),然后点击“完成绑定”
  5. 输入手机 APP 中的动态口令登录
  6. 下载安装或升级客户端插件

Web登录(图形和命令行界面)

  1. 使用Web浏览器访问 https://access.nju.edu.cn
  2. 输入用户名、密码登录
  3. 输入手机 APP 中的动态口令登录
  4. 下载安装或升级客户端插件,需要 Java 运行环境
  5. Web 支持图形界面 xfce4/vnc、命令行界面 ssh ,Web 不支持 SFTP !
  6. 图形界面修改分辨率:Applications - Settings - Display - Resolution

SSH登录(命令行界面)

  1. 地址:access.nju.edu.cn,端口:22(默认)
  2. 输入用户名
  3. 输入密码+空格+动态口令(如密码是YaoGe123,手机APP动态口令是123456,则输入YaoGe123 123456
  4. SSH 不支持图形(X11-Forwarding)
  5. SSH 客户端:PuttyXshellBitvise SSH ClientiTerm2Termius……

SFTP登录(文件传输)

  1. 地址:access.nju.edu.cn,端口:22(默认)
  2. 输入用户名
  3. 输入密码+空格+动态口令(如密码是YaoGe123,手机APP动态口令是123456,则输入YaoGe123 123456
  4. SFTP 路径有特殊前缀(/hpc_login1 sftp (10.1.0.101)/self)
  5. SFTP 客户端:FileZillaXftpWinSCPBitvise SSH ClientCyberduckSFTP DriveSSHFSLFTP
  6. FileZilla 须在站点(Site)的“传输设置 (Transfer Settings) ”中勾选“限制并发连接数 (Limit number of simultaneous connections) ”并设置“最大连接数 (Maximum number of connections) ”为 1
  7. WinSCP 不可使用 “后台传输 (Background Transfers) ”
  8. Cyberduck 须在“新建书签 (New Bookmark) ”中设置“传输文件 (Transfer Files) ”为“使用浏览器连接 (Use browser connection) ”
  9. SFTP Drive 须设置“ Authentication Type ”为“ Keyboard Interactive ”

登录注意事项

  1. SSH 登录后用 passwd 更改密码,密码至少8个字符,包含小写字母、大写字母、数字和特殊字符中的至少三种,不能是常见密码
  2. 连续输错5次密码(含动态口令),账号锁定5分钟
  3. 只有最新绑定的动态口令有效,为避免混淆建议在绑定前先删除老的条目,动态口令仅用于登录 access.nju.edu.cn
  4. 必须通过作业调度系统进行计算,不得在登录节点或计算节点直接运行计算程序,否则会被杀掉进程
  5. 小心更改PS1环境变量,最后必须以$ 结尾($+空格)

数据传输

  1. SFTP:使用SFTP客户端浏览并传输文件,适合大文件和整个目录的上下传。
  2. ZMODEM:在登录节点上可用rz上传文件、sz下载文件,适合单个小文件的上下传。
  3. 云盘:通过云盘自动同步和备份文件。
  4. 数据拷贝:直接使用移动硬盘拷贝大量数据文件。

数据拷贝

为方便大数据传输,中心提供数据拷贝服务,用户需提供支持 USB 3.0 接口的大容量移动硬盘存储设备,文件系统格式化为 exFAT/ext4/XFS ,并告知需要拷贝数据的目录(绝对路径),保证目录的容量小于移动存储的空余空间。

  • 使用 Windows 的用户,建议将存储设备格式化为 exFAT ,exFAT 可以方便的同时被 Windows 和 Linux 读写,但是对于机械硬盘不适于长期使用。
  • 使用 Linux 的用户,建议将存储设备格式化为 ext4 或 XFS 。

  高性能计算集群和云盘已紧密集成。

集成云盘

独立账号

高性能计算集群用户可以使用集群账号直接登录云盘,用户名为集群账号@hpc.nju.edu.cn,密码即集群账号密码;如集群账号为yaoge,用户名填写yaoge@hpc.nju.edu.cn。首次使用需要登录网页端激活账号,但集群账号不能使用云盘的上下传外链功能。

云盘上的集群账号与南京大学统一身份认证账号相互独立,如集群账号yaoge@hpc.nju.edu.cn和南京大学统一身份认证账号0102003是两个完全独立的账号,需要分别激活才能使用。

文件同步

通过云盘的多平台多终端同步功能,可将集群中的目录和本地计算机的目录同步,对本地目录的操作几乎立刻反应在集群的目录中,不再需要通过 SFTP 上下传文件。

  • 计算结果输出到集群同步目录中,本地计算机会自动下载,可在本地直接查看和编辑输出文件;
  • 计算输入文件放到本地同步目录中,集群会自动下载,直接引用输入文件即可提交作业。

客户端

登录节点已安装云盘同步客户端和挂载盘客户端

挂载盘命令行客户端使用简介

  1. 获取Token(<username>替换为集群账号,<password>替换为密码)

    curl -d "username=<username>@hpc.nju.edu.cn" -d "password=<password>" https://box.nju.edu.cn/api2/auth-token/
    
  2. 创建配置文件~/seadrive.conf<username>替换为集群账号,<token>替换为上一步的返回值

    [account]
    server = https://box.nju.edu.cn
    username = <username>@hpc.nju.edu.cn
    token = <token>
    is_pro = true
    [general]
    client_name = hpc-login
    [cache]
    size_limit = 10GB
    clean_cache_interval = 10
    
  3. 启动挂载盘,命令在前台运行,新开一个窗口进行其它操作

    seadrive -c ~/seadrive.conf -f -d ~/.seadrive/data -l ~/.seadrive/data/logs/seadrive.log ~/SeaDrive
    
  4. 如果报错Transport endpoint is not connected,执行:fusermount -u ~/SeaDrive

  5. ~/SeaDrive 目录就是云盘挂载在本地的目录,可以直接读写访问

同步命令行客户端使用简介

  1. 创建客户端本地数据目录(目录名可更改):mkdir ~/Seafile
  2. 初始化客户端并指定本地数据目录(上一步创建的目录):seaf-cli init -d ~/Seafile
  3. 启动客户端:seaf-cli start
  4. 列出云盘资料库ID(<username>替换为集群账号)
    seaf-cli list-remote -s https://box.nju.edu.cn -u <username>@hpc.nju.edu.cn
    
  5. 将本地目录与云盘资料库同步(<library-id>替换为上一步列出的某个资料库ID,<folder>替换为本地目录)
    seaf-cli sync -s https://box.nju.edu.cn -u <username>@hpc.nju.edu.cn -l <library-id> -d <folder>
    
  6. 将云盘资料库下载到本地目录
    seaf-cli download -s https://box.nju.edu.cn -u <username>@hpc.nju.edu.cn -l <library-id> -d <folder>
    
  7. 将本地目录解除同步:seaf-cli desync -d <folder>
  8. 查看当前同步状态:seaf-cli status
  9. 停止客户端:seaf-cli stop

存储配额

并行文件系统fsa等有存储空间配额,存储空间收费按照配额收费。

查看配额方法如下,用户和组配额同时生效

[yaoge ~]$ myquota

用户或组占用存储空间超过配额但是<10%的,可以在7天宽限期内降低至配额以内,超期将无法写入任何数据;超过配额>10%,立刻无法写入任何数据,需要降低至配额以内才能写入数据。

环境变量

集群使用Environment Modules以模块的形式对环境变量进行管理。在高性能计算集群系统中,安装有多种软件及其不同版本,它们需要设置不同的环境变量,Environment Module可以将这些环境变量做成模块文件(modulefile)。模块可以被加载(load)、卸载(unload)、切换(switch)等,这些操作会改变相应的环境变量设置,让用户方便的在不同环境之间切换。相比将环境变量设置写入/etc/profile、~/.bashrc或~/.bash_profile,Environment Module操作只影响当前用户的当前登录环境;相比直接source文件,Environment Module的操作可以撤销(卸载)。普通用户还可以自己编写module,具有很好的定制性。用户不仅可以在命令行中Environment Modules,也能在作业提交脚本中使用,对编译和计算环境都能够很好的控制。

常用命令

  • 显示module帮助:module help
  • 显示所有可用模块:module avail
  • 显示已加载模块:module list
  • 加载模块:module load MODULEFILE
  • 卸载模块:module unload MODULEFILE
  • 切换模块:module switch OLD_MODULEFILE NEW_MODULEFILE(等价于:module unload OLD_MODULEFILE; module load NEW_MODULEFILE)
  • 卸载所有已加载模块:module purge
  • 显示模块说明:module whatis MODULEFILE
  • 显示模块内容:module display MODULEFILE

模块命名规则

软件名/版本-编译器-版本-库-版本

非 Bash

使用非Bash作为Login Shell的用户,请在作业提交脚本的首行指明Shell或使用bsub参数-L指定作业运行时Login Shell为Bash

如Login Shell为tcsh,使用下面两种方法中的一种

#!/bin/tcsh #首行指明Shell
#BSUB ...
...
...
#BSUB -L /bin/bash #指定运行时Login Shell为Bash
...

$ module avail #查看所有可用模块

------------------------------ /fs00/software/modulefiles ------------------------------
gcc/5.2.0                          impi/5.0.3.048
iccifort/15.0.3                   ips/2011sp1u3
ics/2013                           ips/2015u3
ics/2013sp1u1                  openmpi/1.10.0-gcc-5.2.0
imkl/11.2.3                      openmpi/1.10.0-iccifort-15.0.3

$ module list #显示已加载模块
No Modulefiles Currently Loaded. #没有模块被加载

$ icc --version #故icc找不到
-bash: icc: command not found

$ module whatis ips/2015u3 #查看模块说明
ips/2015u3           : Intel Parallel Studio XE 2015 Update 3 Cluster Edition

$ module load ips/2015u3 #加载模块
$ icc --version
icc (ICC) 15.0.3 20150407
Copyright (C) 1985-2015 Intel Corporation.  All rights reserved.

$ module list #显示已加载模块
Currently Loaded Modulefiles:
  1) ips/2015u3

$ module unload ips/2015u3 #卸载模块

登录方式entry

仅限受邀用户内部测试

首次登录

  1. 因为需要进行两步认证绑定,故首次登录必须使用Web浏览器
  2. 在计算机上使用Web浏览器访问 https://entry.nju.edu.cn
  3. 输入用户名、密码登录
  4. 手机安装 Google Authenticator、Microsoft Authenticator、Red Hat FreeOTP、LastPass Authenticator 等兼容APP,扫描二维码(也可手动输入),然后点击“完成绑定”
  5. 输入手机APP中的动态口令提交
  6. 下载安装或升级客户端插件

Web登录

  1. 使用Web浏览器访问 https://entry.nju.edu.cn
  2. 输入用户名、密码登录
  3. 输入手机APP中的动态口令提交
  4. 下载安装或升级客户端插件,需要Java运行环境
  5. Web支持图形界面xfwd/vnc、命令行界面ssh,文件传输sftp
  6. 图形界面修改分辨率:Applications - Settings - Display - Resolution

SSH登录(命令行界面)

  1. 地址:entry.nju.edu.cn,端口:22(默认)
  2. 输入用户名
  3. 输入密码
  4. 输入手机APP中的动态口令
  5. SSH不支持图形(X11-Forwarding)
  6. SSH客户端:PuttyXshell、Bitvise SSH ClientiTerm2Termius……

SFTP登录(文件传输)

  1. 地址:entry.nju.edu.cn,端口:22(默认)
  2. 输入用户名/10.1.0.101/self(如用户名是yaoge,则输入yaoge/10.1.0.101/self)
  3. 输入密码+空格+动态口令(如密码是YaoGe123,手机APP动态口令是123456,则输入YaoGe123 123456)
  4. SFTP客户端:FileZillaXftpWinSCPBitvise SSH ClientCyberduckSFTP DriveSSHFSLFTP
  5. FileZilla 须在站点(Site)的“传输设置(Transfer Settings)”中勾选“限制并发连接数(Limit number of simultaneous connections)”并设置“最大连接数(Maximum number of connections)”为 1
  6. WinSCP 不可使用 “后台传输(Background Transfers)”
  7. Cyberduck 须在“新建书签(New Bookmark)”中设置“传输文件(Transfer Files)”为“使用浏览器连接(Use browser connection)”
  8. SFTP Drive 须设置“Authentication Type”为“Keyboard Interactive”

登录注意事项

  1. SSH登录后用passwd更改密码,密码至少8个字符,包含小写字母、大写字母、数字和特殊字符中的至少三种,不能是常见密码
  2. 连续输错5次密码(含动态口令),账号锁定5分钟
  3. 只有最新绑定的动态口令有效,为避免混淆建议在绑定前先删除老的条目,动态口令仅用于登录entry.nju.edu.cn
  4. 必须通过作业调度系统进行计算,不得在登录节点或计算节点直接运行计算程序,否则会被杀掉进程
  5. 小心更改PS1环境变量,最后必须以“$ ”结尾($+空格)