容器化
容器技术
容器技术能够对应用及其整个运行时环境(包括全部所需文件)一起进行打包或隔离。从而可以在不同环境(如开发、测试和生产等环境)之间轻松迁移应用,同时还可保留应用的全部功能。有了容器不再需要管理员为你安装任何东西。容器是一个独立的系统,你可以在里面做任何想做的事情。
Singularity
Singularity 是一套类似于 Docker 的容器解决方案,是用于HPC容器系统。
加载环境
module load singularity/latest
source /fs00/software/singularity/latest/etc/bash_completion.d/singularity
制作镜像
镜像可以从 Docker Hub 直接导入,或自己做好镜像打包上传后导入
singularity build ubuntu.sif docker://docker.nju.edu.cn/ubuntu #从 Docker Hub 导入镜像
singularity build ngc_tensorrt_23.01-py3.sif docker://ngc.nju.edu.cn//nvidia/cuda #从 NVIDIA NGC 导入镜像
singularity build abc.sif docker-archive://abc.tar #导入 docker save 保存的镜像文件
用 git.nju.edu.cn 上的 CI/CD 自动调用 kaniko 构建 Docker 镜像,详见官方文档
在 /fs00/software/singularity-images/
已经存放了很多镜像,可直接使用
提交作业
提交容器作业的示例脚本
#BSUB -q 62v100ib
#BSUB -gpu num=4
/fs00/software/singularity/latest/bin/singularity exec --nv cuda.sif app