Skip to main content

集成云盘

登录方式

首次登录

  1. 因为需要进行两步认证绑定，故首次登录必须使用Web浏览器
  2. 在计算机上使用Web浏览器访问 https://access.nju.edu.cn
  3. 输入用户名、密码登录
  4. 手机安装 Google Authenticator 、 Microsoft Authenticator 、 Red Hat FreeOTP 、 LastPass Authenticator 等兼容 APP ，扫描二维码（也可手动输入），然后点击“完成绑定”
  5. 输入手机 APP 中的动态口令登录
  6. 下载安装或升级客户端插件

Web登录（图形和命令行界面）

  1. 使用Web浏览器访问 https://access.nju.edu.cn
  2. 输入用户名、密码登录
  3. 输入手机 APP 中的动态口令登录
  4. 下载安装或升级客户端插件，需要 Java 运行环境
  5. Web 支持图形界面 xfce4/vnc、命令行界面 ssh ，Web 不支持 SFTP ！
  6. 图形界面修改分辨率：Applications - Settings - Display - Resolution

SSH登录（命令行界面）

  1. 地址：access.nju.edu.cn，端口：22（默认）
  2. 输入用户名
  3. 输入密码+空格+动态口令（如密码是YaoGe123，手机APP动态口令是123456，则输入YaoGe123 123456）
  4. SSH 不支持图形（X11-Forwarding）
  5. SSH 客户端：Putty、Xshell、Bitvise SSH Client、iTerm2、Termius……

SFTP登录（文件传输）

  1. 地址：access.nju.edu.cn，端口：22（默认）
  2. 输入用户名
  3. 输入密码+空格+动态口令（如密码是YaoGe123，手机APP动态口令是123456，则输入YaoGe123 123456）
  4. SFTP 路径有特殊前缀（/hpc_login1 sftp (10.1.0.101)/self）
  5. SFTP 客户端：FileZilla、Xftp、WinSCP、Bitvise SSH Client、Cyberduck、SFTP Drive、SSHFS、LFTP
  6. FileZilla 须在站点(Site)的“传输设置 (Transfer Settings) ”中勾选“限制并发连接数 (Limit number of simultaneous connections) ”并设置“最大连接数 (Maximum number of connections) ”为 1
  7. WinSCP 不可使用 “后台传输 (Background Transfers) ”
  8. Cyberduck 须在“新建书签 (New Bookmark) ”中设置“传输文件 (Transfer Files) ”为“使用浏览器连接 (Use browser connection) ”
  9. SFTP Drive 须设置“ Authentication Type ”为“ Keyboard Interactive ”

登录注意事项

  1. SSH 登录后用 passwd 更改密码，密码至少8个字符，包含小写字母、大写字母、数字和特殊字符中的至少三种，不能是常见密码
  2. 连续输错5次密码（含动态口令），账号锁定5分钟
  3. 只有最新绑定的动态口令有效，为避免混淆建议在绑定前先删除老的条目，动态口令仅用于登录 access.nju.edu.cn
  4. 必须通过作业调度系统进行计算，不得在登录节点或计算节点直接运行计算程序，否则会被杀掉进程
  5. 小心更改PS1环境变量，最后必须以$ 结尾（$+空格）

数据传输

  1. SFTP：使用SFTP客户端浏览并传输文件，适合大文件和整个目录的上下传。
  2. ZMODEM：在登录节点上可用rz上传文件、sz下载文件，适合单个小文件的上下传。
  3. 云盘：通过云盘自动同步和备份文件。
  4. 数据拷贝：直接使用移动硬盘拷贝大量数据文件。

数据拷贝

为方便大数据传输，中心提供数据拷贝服务，用户需提供支持 USB 3.0 接口的大容量移动硬盘存储设备，文件系统格式化为 exFAT/ext4/XFS ，并告知需要拷贝数据的目录（绝对路径），保证目录的容量小于移动存储的空余空间。

  • 使用 Windows 的用户，建议将存储设备格式化为 exFAT ，exFAT 可以方便的同时被 Windows 和 Linux 读写，但是对于机械硬盘不适于长期使用。
  • 使用 Linux 的用户，建议将存储设备格式化为 ext4 或 XFS 。

　　高性能计算集群和云盘已紧密集成。

集成云盘

独立账号

高性能计算集群用户可以使用集群账号直接登录云盘，用户名为集群账号@hpc.nju.edu.cn，密码即集群账号密码；如集群账号为yaoge，用户名填写yaoge@hpc.nju.edu.cn。首次使用需要登录网页端激活账号，但集群账号不能使用云盘的上下传外链功能。

云盘上的集群账号与南京大学统一身份认证账号相互独立，如集群账号yaoge@hpc.nju.edu.cn和南京大学统一身份认证账号0102003是两个完全独立的账号，需要分别激活才能使用。

文件同步

通过云盘的多平台多终端同步功能，可将集群中的目录和本地计算机的目录同步，对本地目录的操作几乎立刻反应在集群的目录中，不再需要通过 SFTP 上下传文件。

  • 计算结果输出到集群同步目录中，本地计算机会自动下载，可在本地直接查看和编辑输出文件；
  • 计算输入文件放到本地同步目录中，集群会自动下载，直接引用输入文件即可提交作业。

客户端

登录节点已安装云盘同步客户端和挂载盘客户端

挂载盘命令行客户端使用简介

  1. 获取Token（<username>替换为集群账号，<password>替换为密码）

    curl -d "username=<username>@hpc.nju.edu.cn" -d "password=<password>" https://box.nju.edu.cn/api2/auth-token/

  2. 创建配置文件~/seadrive.conf，<username>替换为集群账号，<token>替换为上一步的返回值

    [account]
server = https://box.nju.edu.cn
username = <username>@hpc.nju.edu.cn
token = <token>
is_pro = true
[general]
client_name = hpc-login
[cache]
size_limit = 10GB
clean_cache_interval = 10

  3. 启动挂载盘，命令在前台运行，新开一个窗口进行其它操作

    seadrive -c ~/seadrive.conf -f -d ~/.seadrive/data -l ~/.seadrive/data/logs/seadrive.log ~/SeaDrive

  4. 如果报错Transport endpoint is not connected，执行：fusermount -u ~/SeaDrive

  5. ~/SeaDrive 目录就是云盘挂载在本地的目录，可以直接读写访问

同步命令行客户端使用简介

  1. 创建客户端本地数据目录（目录名可更改）：mkdir ~/Seafile
  2. 初始化客户端并指定本地数据目录（上一步创建的目录）：seaf-cli init -d ~/Seafile
  3. 启动客户端：seaf-cli start
  4. 列出云盘资料库ID（<username>替换为集群账号） 
    seaf-cli list-remote -s https://box.nju.edu.cn -u <username>@hpc.nju.edu.cn
  5. 将本地目录与云盘资料库同步（<library-id>替换为上一步列出的某个资料库ID，<folder>替换为本地目录） 
    seaf-cli sync -s https://box.nju.edu.cn -u <username>@hpc.nju.edu.cn -l <library-id> -d <folder>
  6. 将云盘资料库下载到本地目录 
    seaf-cli download -s https://box.nju.edu.cn -u <username>@hpc.nju.edu.cn -l <library-id> -d <folder>
  7. 将本地目录解除同步：seaf-cli desync -d <folder>
  8. 查看当前同步状态：seaf-cli status
  9. 停止客户端：seaf-cli stop

存储配额

并行文件系统fsa等有存储空间配额，存储空间收费按照配额收费。

查看配额方法如下，用户和组配额同时生效

[yaoge ~]$ myquota

用户或组占用存储空间超过配额但是<10%的，可以在7天宽限期内降低至配额以内，超期将无法写入任何数据；超过配额>10%，立刻无法写入任何数据，需要降低至配额以内才能写入数据。

环境变量

集群使用Environment Modules以模块的形式对环境变量进行管理。在高性能计算集群系统中，安装有多种软件及其不同版本，它们需要设置不同的环境变量，Environment Module可以将这些环境变量做成模块文件（modulefile）。模块可以被加载(load)、卸载(unload)、切换(switch)等，这些操作会改变相应的环境变量设置，让用户方便的在不同环境之间切换。相比将环境变量设置写入/etc/profile、~/.bashrc或~/.bash_profile，Environment Module操作只影响当前用户的当前登录环境；相比直接source文件，Environment Module的操作可以撤销（卸载）。普通用户还可以自己编写module，具有很好的定制性。用户不仅可以在命令行中Environment Modules，也能在作业提交脚本中使用，对编译和计算环境都能够很好的控制。

常用命令

  • 显示module帮助：module help
  • 显示所有可用模块：module avail
  • 显示已加载模块：module list
  • 加载模块：module load MODULEFILE
  • 卸载模块：module unload MODULEFILE
  • 切换模块：module switch OLD_MODULEFILE NEW_MODULEFILE（等价于：module unload OLD_MODULEFILE; module load NEW_MODULEFILE）
  • 卸载所有已加载模块：module purge
  • 显示模块说明：module whatis MODULEFILE
  • 显示模块内容：module display MODULEFILE

模块命名规则

软件名/版本-编译器-版本-库-版本

非 Bash

使用非Bash作为Login Shell的用户，请在作业提交脚本的首行指明Shell或使用bsub参数-L指定作业运行时Login Shell为Bash

如Login Shell为tcsh，使用下面两种方法中的一种

#!/bin/tcsh #首行指明Shell
#BSUB ...
...

...
#BSUB -L /bin/bash #指定运行时Login Shell为Bash
...

例

$ module avail #查看所有可用模块

------------------------------ /fs00/software/modulefiles ------------------------------
gcc/5.2.0                          impi/5.0.3.048
iccifort/15.0.3                   ips/2011sp1u3
ics/2013                           ips/2015u3
ics/2013sp1u1                  openmpi/1.10.0-gcc-5.2.0
imkl/11.2.3                      openmpi/1.10.0-iccifort-15.0.3

$ module list #显示已加载模块
No Modulefiles Currently Loaded. #没有模块被加载

$ icc --version #故icc找不到
-bash: icc: command not found

$ module whatis ips/2015u3 #查看模块说明
ips/2015u3           : Intel Parallel Studio XE 2015 Update 3 Cluster Edition

$ module load ips/2015u3 #加载模块
$ icc --version
icc (ICC) 15.0.3 20150407
Copyright (C) 1985-2015 Intel Corporation.  All rights reserved.

$ module list #显示已加载模块
Currently Loaded Modulefiles:
  1) ips/2015u3

$ module unload ips/2015u3 #卸载模块

登录方式entry

仅限受邀用户内部测试

首次登录

  1. 因为需要进行两步认证绑定，故首次登录必须使用Web浏览器
  2. 在计算机上使用Web浏览器访问 https://entry.nju.edu.cn
  3. 输入用户名、密码登录
  4. 手机安装 Google Authenticator、Microsoft Authenticator、Red Hat FreeOTP、LastPass Authenticator 等兼容APP，扫描二维码（也可手动输入），然后点击“完成绑定”
  5. 输入手机APP中的动态口令提交
  6. 下载安装或升级客户端插件

Web登录

  1. 使用Web浏览器访问 https://entry.nju.edu.cn
  2. 输入用户名、密码登录
  3. 输入手机APP中的动态口令提交
  4. 下载安装或升级客户端插件，需要Java运行环境
  5. Web支持图形界面xfwd/vnc、命令行界面ssh，文件传输sftp
  6. 图形界面修改分辨率：Applications - Settings - Display - Resolution

SSH登录（命令行界面）

  1. 地址：entry.nju.edu.cn，端口：22（默认）
  2. 输入用户名
  3. 输入密码
  4. 输入手机APP中的动态口令
  5. SSH不支持图形（X11-Forwarding）
  6. SSH客户端：Putty、Xshell、Bitvise SSH Client、iTerm2、Termius……

SFTP登录（文件传输）

  1. 地址：entry.nju.edu.cn，端口：22（默认）
  2. 输入用户名/10.1.0.101/self（如用户名是yaoge，则输入yaoge/10.1.0.101/self）
  3. 输入密码+空格+动态口令（如密码是YaoGe123，手机APP动态口令是123456，则输入YaoGe123 123456）
  4. SFTP客户端：FileZilla、Xftp、WinSCP、Bitvise SSH Client、Cyberduck、SFTP Drive、SSHFS、LFTP
  5. FileZilla 须在站点(Site)的“传输设置(Transfer Settings)”中勾选“限制并发连接数(Limit number of simultaneous connections)”并设置“最大连接数(Maximum number of connections)”为 1
  6. WinSCP 不可使用 “后台传输(Background Transfers)”
  7. Cyberduck 须在“新建书签(New Bookmark)”中设置“传输文件(Transfer Files)”为“使用浏览器连接(Use browser connection)”
  8. SFTP Drive 须设置“Authentication Type”为“Keyboard Interactive”

登录注意事项

  1. SSH登录后用passwd更改密码，密码至少8个字符，包含小写字母、大写字母、数字和特殊字符中的至少三种，不能是常见密码
  2. 连续输错5次密码（含动态口令），账号锁定5分钟
  3. 只有最新绑定的动态口令有效，为避免混淆建议在绑定前先删除老的条目，动态口令仅用于登录entry.nju.edu.cn
  4. 必须通过作业调度系统进行计算，不得在登录节点或计算节点直接运行计算程序，否则会被杀掉进程
  5. 小心更改PS1环境变量，最后必须以“$ ”结尾（$+空格）
Back to top