1 of 5

Addons

ADDON 관련 파일 다운로드

실행 명령어

$ curl -sfL https://cube.k3.acornsoft.io/download-addon | ACCOUNT=<user> PASSWD=<password> NAME=gpu sh -
$ curl -sfL https://cube.k3.acornsoft.io/download-addon | ACCOUNT=<user> PASSWD=<password> NAME=gpu VERSION=v23.9.0 sh -
$ curl -sfL https://cube.k3.acornsoft.io/download-addon | ACCOUNT=<user> PASSWD=<password> NAME=gpu VERSION=v23.9.0 OSEXT=ubuntu2004 sh -

Download-addon 스크립트 인자값 정의 및 사용법

필수 인자값

ACCOUNT = NAS계정 PASSWD = NAS계정암호 NAME = ADDON종류(nfs | gpu | kore)

옵션인자값

VERSION = ADDON버전(단수값지원) OSEXT = GPU ADDON설치시 설치대상서버의 OS종류(default=ubuntu2004)

명령어 실행 후 local상 파일구조

ADDON Download시 $CUBE_HOME 에 저장합니다.
- 만일 $CUBE_HOME 이 설정되어 있지 않은 경우 명령어를 실행한 디렉토리에 Download 받습니다.
ADDON Download시 기존 ADDON폴더에 profile폴더가 존재 할 경우 기존 profile 폴더를 현재 시각을 붙여 백업하고 Download받습니다

CSI-NFS Addon 설치

CSI-NFS Addon Installation

설치 가능한 애드온 명칭 및 profile 조회
- --kubeconfig 미입력 시 기본값 : ${CUBE_HOME}/config/{{CLUSTER}}/acloud-client-kubeconfig
- --profile 미입력 시 기본값 : ${CUBE_HOME}/extends/addon/profile/csi-driver-nfs/default.yaml

${CUBE_HOME}/extends/addon/profile/csi-driver-nfs/default.yaml 수정
- server: '{{ NFS node IP }}' IP 수정

Addon 설치

Addon 설치 확인

Addon 삭제

GPU Addon 설치

Prerequisite

GPU 노드에서 디바이스 확인

NVIDIA 드라이버 설치
- NVIDIA 드라이버는 사전에 설치되어 있어야 합니다.
- 지원하는 NVIDIA 드라이버는 아래 링크 참조하세요.
- https://catalog.ngc.nvidia.com/orgs/nvidia/containers/driver/tags
폐쇄망 설치일 경우 GPU Addon 이미지 및 차트 업로드합니다.
- 관련 파일 및 업로드 방법은 escho@acornsoft.io 로 문의 바랍니다.

GPU Addon Installation

설치 가능한 애드온 명칭 및 profile 조회
- --kubeconfig 미입력 시 기본값 : ${CUBE_HOME}/config/{{CLUSTER}}/acloud-client-kubeconfig
- --profile 미입력 시 기본 적용 파일 : ${CUBE_HOME}/extends/addon/profile/gpu-operator/default.yaml

${CUBE_HOME}/extends/addon/profile/gpu-operator/default.yaml 설치하려는 OSEXT의 yaml 수정
- default.yaml은 ubuntu와 동일합니다.
- redhat.yaml을 적용하려면 profile 인자값에 해당 파일명을 입력합니다.

Addon 설치

Addon 설치 확인

Addon 삭제

MIG(multi instance GPU) 설정 방법

MIG를 지원하는 GPU인 경우

GPU별 지원되는 프로필 확인
- 에서 GPU별 지원되는 프로필을 확인합니다.
- MIG 프로필은 configmap/default-mig-parted-config 에서도 확인 가능합니다.

적용 확인 예

자세한 내용은 참조하세요.

Time-Slicing 설정 방법

MIG를 지원하지 않는 장비에서 하나의 GPU 분할 사용

ConfigMap 생성
- Time slicing을 어떻게 나눌지 정의하는 configmap 작성합니다.

NVIDIA ClusterPolicy 객체에 생성된 configmap 지정

적용 확인
- 적용 후 gpu-feature-discovery, nvidia-device-plugin-daemonset pod가 자동으로 재시작되고 그 후에 gpu-node의 describe로 정상적으로 적용되었는지 확인가능합니다.

자세한 내용은 참조하세요.

Cilium Addon 설치

Cilium v1.17.3 기준

Prerequisite

Cilium download

필요한 cilium chart 및 image를 다운로드 합니다.

다운로드 받은 cilium 이미지를 archive/push/registry 경로로 압축을 해제합니다.

Push cilium image

Push registry 명령어를 이용하여 cilium image를 업로드해야합니다.

Cilium addon install

Addon install 실행 전 각각의 클러스에서 해당 명령어 실행 필수

설치 가능한 애드온 명칭 및 profile 조회
- --kubeconfig 미입력 시 기본값 : ${CUBE_HOME}/config/{{ CLUSTER }}/acloud-client-kubeconfig
- --profile 미입력 시 기본 적용 파일 : ${CUBE_HOME}/extends/addon/profile/cilium/default.yaml

profile 값 수정
- default.yaml(cilium 온라인 기본 설치)
- default-clustermesh.yaml(cilium clustermesh 설치, 수정 필요)

Addon 설치

Addon 설치 확인

Addon 삭제

삭제 후 재설치 시도시 에러 발생할 때

해당하는 클러스터 이동하여 아래 명령어를 순차적으로 실행 후 재설치 시도

$ bin/cubectl addon list
┌────────────────┬─────────┬────────────┬─────────┬─────────────────────────────┐
│ ADDON NAME     │ VERSION │ STATUS     │ PROFILE │ VALUES PATH                 │
├────────────────┼─────────┼────────────┼─────────┼─────────────────────────────┤
│ csi-driver-nfs │ v4.8.0  │ enabled ✅ │         │ csi-driver-nfs/default.yaml │
│ gpu-operator   │ v23.9.0 │ disabled   │         │ gpu-operator/default.yaml   │
│                │         │            │ redhat  │ gpu-operator/redhat.yaml    │
│                │         │            │ ubuntu  │ gpu-operator/ubuntu.yaml    │
│ kore-board     │ 0.5.5   │ disabled   │         │ kore-board/default.yaml     │
└────────────────┴─────────┴────────────┴─────────┴─────────────────────────────┘
Duration 188.932222ms time


$ kubectl get pods -n csi-driver-nfs

NAMESPACE        NAME                                       READY   STATUS    RESTARTS       AGE    IP             NODE        NOMINATED NODE   READINESS GATES
csi-driver-nfs   csi-nfs-controller-5bbdfbdcc9-5xn6x        4/4     Running   1 (19s ago)    75s    10.10.30.164   wk-node-2   <none>           <none>
csi-driver-nfs   csi-nfs-node-8xpjf                         3/3     Running   0              75s    10.10.30.184   cp-node-1   <none>           <none>
csi-driver-nfs   csi-nfs-node-d7kz2                         3/3     Running   0              75s    10.10.30.143   cp-node-2   <none>           <none>
csi-driver-nfs   csi-nfs-node-dx6jm                         3/3     Running   0              75s    10.10.30.164   wk-node-2   <none>           <none>
csi-driver-nfs   csi-nfs-node-ppcwh                         3/3     Running   0              75s    10.10.30.128   wk-node-1   <none>           <none>
csi-driver-nfs   csi-nfs-node-tvrb5                         3/3     Running   0              75s    10.10.30.153   cp-node-3   <none>           <none>


$ kubectl get sc

NAME                PROVISIONER      RECLAIMPOLICY   VOLUMEBINDINGMODE   ALLOWVOLUMEEXPANSION   AGE
nfs-csi (default)   nfs.csi.k8s.io   Delete          Immediate           false                  11m

$ bin/cubectl addon list
┌────────────────┬─────────┬────────────┬─────────┬─────────────────────────────┐
│ ADDON NAME     │ VERSION │ STATUS     │ PROFILE │ VALUES PATH                 │
├────────────────┼─────────┼────────────┼─────────┼─────────────────────────────┤
│ csi-driver-nfs │ v4.8.0  │ enabled ✅ │         │ csi-driver-nfs/default.yaml │
│ gpu-operator   │ v23.9.0 │ disabled   │         │ gpu-operator/default.yaml   │
│                │         │            │ redhat  │ gpu-operator/redhat.yaml    │
│                │         │            │ ubuntu  │ gpu-operator/ubuntu.yaml    │
│ kore-board     │ 0.5.5   │ disabled   │         │ kore-board/default.yaml     │
└────────────────┴─────────┴────────────┴─────────┴─────────────────────────────┘
Duration 188.932222ms time


$ kubectl get pods -n csi-driver-nfs

NAMESPACE        NAME                                       READY   STATUS    RESTARTS       AGE    IP             NODE        NOMINATED NODE   READINESS GATES
csi-driver-nfs   csi-nfs-controller-5bbdfbdcc9-5xn6x        4/4     Running   1 (19s ago)    75s    10.10.30.164   wk-node-2   <none>           <none>
csi-driver-nfs   csi-nfs-node-8xpjf                         3/3     Running   0              75s    10.10.30.184   cp-node-1   <none>           <none>
csi-driver-nfs   csi-nfs-node-d7kz2                         3/3     Running   0              75s    10.10.30.143   cp-node-2   <none>           <none>
csi-driver-nfs   csi-nfs-node-dx6jm                         3/3     Running   0              75s    10.10.30.164   wk-node-2   <none>           <none>
csi-driver-nfs   csi-nfs-node-ppcwh                         3/3     Running   0              75s    10.10.30.128   wk-node-1   <none>           <none>
csi-driver-nfs   csi-nfs-node-tvrb5                         3/3     Running   0              75s    10.10.30.153   cp-node-3   <none>           <none>


$ kubectl get sc

NAME                PROVISIONER      RECLAIMPOLICY   VOLUMEBINDINGMODE   ALLOWVOLUMEEXPANSION   AGE
nfs-csi (default)   nfs.csi.k8s.io   Delete          Immediate           false                  11m

GPU Addon 설치

Prerequisite

GPU 노드에서 디바이스 확인

$ lspci -nnk | grep -i nvidia

00:05.0 3D controller [0302]: NVIDIA Corporation Device [10de:20b7] (rev a1)
    Subsystem: NVIDIA Corporation Device [10de:1532]
    Kernel modules: nvidiafb

NVIDIA 드라이버 설치
- NVIDIA 드라이버는 사전에 설치되어 있어야 합니다.
- 지원하는 NVIDIA 드라이버는 아래 링크 참조하세요.
- https://catalog.ngc.nvidia.com/orgs/nvidia/containers/driver/tags
폐쇄망 설치일 경우 GPU Addon 이미지 및 차트 업로드합니다.
- 관련 파일 및 업로드 방법은 escho@acornsoft.io 로 문의 바랍니다.

GPU Addon Installation

설치 가능한 애드온 명칭 및 profile 조회
- --kubeconfig 미입력 시 기본값 : ${CUBE_HOME}/config/{{CLUSTER}}/acloud-client-kubeconfig
- --profile 미입력 시 기본 적용 파일 : ${CUBE_HOME}/extends/addon/profile/gpu-operator/default.yaml

${CUBE_HOME}/extends/addon/profile/gpu-operator/default.yaml 설치하려는 OSEXT의 yaml 수정
- default.yaml은 ubuntu와 동일합니다.
- redhat.yaml을 적용하려면 profile 인자값에 해당 파일명을 입력합니다.

Addon 설치

Addon 설치 확인

Addon 삭제

MIG(multi instance GPU) 설정 방법

MIG를 지원하는 GPU인 경우

GPU별 지원되는 프로필 확인
- 에서 GPU별 지원되는 프로필을 확인합니다.
- MIG 프로필은 configmap/default-mig-parted-config 에서도 확인 가능합니다.

적용 확인 예

자세한 내용은 참조하세요.

Time-Slicing 설정 방법

MIG를 지원하지 않는 장비에서 하나의 GPU 분할 사용

ConfigMap 생성
- Time slicing을 어떻게 나눌지 정의하는 configmap 작성합니다.

NVIDIA ClusterPolicy 객체에 생성된 configmap 지정

적용 확인
- 적용 후 gpu-feature-discovery, nvidia-device-plugin-daemonset pod가 자동으로 재시작되고 그 후에 gpu-node의 describe로 정상적으로 적용되었는지 확인가능합니다.

자세한 내용은 참조하세요.

$ bin/cubectl addon list
┌────────────────┬─────────┬────────────┬─────────┬─────────────────────────────┐
│ ADDON NAME     │ VERSION │ STATUS     │ PROFILE │ VALUES PATH                 │
├────────────────┼─────────┼────────────┼─────────┼─────────────────────────────┤
│ csi-driver-nfs │ v4.8.0  │ disabled   │         │ csi-driver-nfs/default.yaml │
│ gpu-operator   │ v23.9.0 │ enabled ✅ │         │ gpu-operator/default.yaml   │
│                │         │            │ redhat  │ gpu-operator/redhat.yaml    │
│                │         │            │ ubuntu  │ gpu-operator/ubuntu.yaml    │
│ kore-board     │ 0.5.5   │ disabled   │         │ kore-board/default.yaml     │
└────────────────┴─────────┴────────────┴─────────┴─────────────────────────────┘
Duration 75.061448ms time

$ kubectl get pods -n gpu-operator

NAMESPACE      NAME                                                          READY   STATUS    RESTARTS      AGE   IP             NODE        NOMINATED NODE   READINESS GATES
gpu-operator   gpu-operator-5564789746-rlpzk                                 1/1     Running   0             65s   10.4.185.65    cp-node-1   <none>           <none>
gpu-operator   gpu-operator-node-feature-discovery-gc-78b479ccc6-ngfnd       1/1     Running   0             65s   10.4.211.67    wk-node-1   <none>           <none>
gpu-operator   gpu-operator-node-feature-discovery-master-569bfcd8bc-5xb8h   1/1     Running   0             65s   10.4.111.193   cp-node-3   <none>           <none>
gpu-operator   gpu-operator-node-feature-discovery-worker-dlxxh              1/1     Running   0             65s   10.4.111.194   cp-node-3   <none>           <none>
gpu-operator   gpu-operator-node-feature-discovery-worker-fmlmb              1/1     Running   0             65s   10.4.185.66    cp-node-1   <none>           <none>
gpu-operator   gpu-operator-node-feature-discovery-worker-gqn8z              1/1     Running   0             65s   10.4.238.68    cp-node-2   <none>           <none>
gpu-operator   gpu-operator-node-feature-discovery-worker-pksh4              1/1     Running   0             65s   10.4.109.2     wk-node-2   <none>           <none>
gpu-operator   gpu-operator-node-feature-discovery-worker-xx6gb              1/1     Running   0             65s   10.4.211.66    wk-node-1   <none>           <none>

$ kubectl -n gpu-operator exec -it nvidia-dcgm-exporter-gc6bm bash

root@nvidia-dcgm-exporter-gc6bm:/# nvidia-smi
Thu Dec  7 06:02:55 2023
+---------------------------------------------------------------------------------------+
| NVIDIA-SMI 535.104.12             Driver Version: 535.104.12   CUDA Version: 12.2     |
|-----------------------------------------+----------------------+----------------------+
| GPU  Name                 Persistence-M | Bus-Id        Disp.A | Volatile Uncorr. ECC |
| Fan  Temp   Perf          Pwr:Usage/Cap |         Memory-Usage | GPU-Util  Compute M. |
|                                         |                      |               MIG M. |
|=========================================+======================+======================|
|   0  NVIDIA A30                     On  | 00000000:00:05.0 Off |                   On |
| N/A   63C    P0              72W / 165W |                  N/A |     N/A      Default |
|                                         |                      |              Enabled |
+-----------------------------------------+----------------------+----------------------+

+---------------------------------------------------------------------------------------+
| MIG devices:                                                                          |
+------------------+--------------------------------+-----------+-----------------------+
| GPU  GI  CI  MIG |                   Memory-Usage |        Vol|      Shared           |
|      ID  ID  Dev |                     BAR1-Usage | SM     Unc| CE ENC DEC OFA JPG    |
|                  |                                |        ECC|                       |
|==================+================================+===========+=======================|
|  0    3   0   0  |              12MiB /  5952MiB  | 14      0 |  1   0    1    0    0 |
|                  |               0MiB /  8191MiB  |           |                       |
+------------------+--------------------------------+-----------+-----------------------+
|  0    4   0   1  |              12MiB /  5952MiB  | 14      0 |  1   0    1    0    0 |
|                  |               0MiB /  8191MiB  |           |                       |
+------------------+--------------------------------+-----------+-----------------------+
|  0    5   0   2  |              12MiB /  5952MiB  | 14      0 |  1   0    1    0    0 |
|                  |               0MiB /  8191MiB  |           |                       |
+------------------+--------------------------------+-----------+-----------------------+
|  0    6   0   3  |              12MiB /  5952MiB  | 14      0 |  1   0    1    0    0 |
|                  |               0MiB /  8191MiB  |           |                       |
+------------------+--------------------------------+-----------+-----------------------+

+---------------------------------------------------------------------------------------+
| Processes:                                                                            |
|  GPU   GI   CI        PID   Type   Process name                            GPU Memory |
|        ID   ID                                                             Usage      |
|=======================================================================================|
|  No running processes found                                                           |
+---------------------------------------------------------------------------------------+
root@nvidia-dcgm-exporter-gc6bm:/# nvidia-smi -L
GPU 0: NVIDIA A30 (UUID: GPU-79e36614-3f62-d3dd-cdd0-48b00aa446e0)
  MIG 1g.6gb      Device  0: (UUID: MIG-39f52290-ccf4-5e32-b8b8-cc1877a32051)
  MIG 1g.6gb      Device  1: (UUID: MIG-dbf3834e-128b-5965-88b7-2e3d2fe5a0aa)
  MIG 1g.6gb      Device  2: (UUID: MIG-c735f798-c9d5-5c0e-972c-e0bc6cdb05e7)
  MIG 1g.6gb      Device  3: (UUID: MIG-233d355f-f84e-530d-8526-797b5a867669)

$ bin/cubectl addon list
┌────────────────┬─────────┬────────────┬─────────┬─────────────────────────────┐
│ ADDON NAME     │ VERSION │ STATUS     │ PROFILE │ VALUES PATH                 │
├────────────────┼─────────┼────────────┼─────────┼─────────────────────────────┤
│ csi-driver-nfs │ v4.8.0  │ disabled   │         │ csi-driver-nfs/default.yaml │
│ gpu-operator   │ v23.9.0 │ enabled ✅ │         │ gpu-operator/default.yaml   │
│                │         │            │ redhat  │ gpu-operator/redhat.yaml    │
│                │         │            │ ubuntu  │ gpu-operator/ubuntu.yaml    │
│ kore-board     │ 0.5.5   │ disabled   │         │ kore-board/default.yaml     │
└────────────────┴─────────┴────────────┴─────────┴─────────────────────────────┘
Duration 75.061448ms time

$ kubectl get pods -n gpu-operator

NAMESPACE      NAME                                                          READY   STATUS    RESTARTS      AGE   IP             NODE        NOMINATED NODE   READINESS GATES
gpu-operator   gpu-operator-5564789746-rlpzk                                 1/1     Running   0             65s   10.4.185.65    cp-node-1   <none>           <none>
gpu-operator   gpu-operator-node-feature-discovery-gc-78b479ccc6-ngfnd       1/1     Running   0             65s   10.4.211.67    wk-node-1   <none>           <none>
gpu-operator   gpu-operator-node-feature-discovery-master-569bfcd8bc-5xb8h   1/1     Running   0             65s   10.4.111.193   cp-node-3   <none>           <none>
gpu-operator   gpu-operator-node-feature-discovery-worker-dlxxh              1/1     Running   0             65s   10.4.111.194   cp-node-3   <none>           <none>
gpu-operator   gpu-operator-node-feature-discovery-worker-fmlmb              1/1     Running   0             65s   10.4.185.66    cp-node-1   <none>           <none>
gpu-operator   gpu-operator-node-feature-discovery-worker-gqn8z              1/1     Running   0             65s   10.4.238.68    cp-node-2   <none>           <none>
gpu-operator   gpu-operator-node-feature-discovery-worker-pksh4              1/1     Running   0             65s   10.4.109.2     wk-node-2   <none>           <none>
gpu-operator   gpu-operator-node-feature-discovery-worker-xx6gb              1/1     Running   0             65s   10.4.211.66    wk-node-1   <none>           <none>

$ kubectl -n gpu-operator exec -it nvidia-dcgm-exporter-gc6bm bash

root@nvidia-dcgm-exporter-gc6bm:/# nvidia-smi
Thu Dec  7 06:02:55 2023
+---------------------------------------------------------------------------------------+
| NVIDIA-SMI 535.104.12             Driver Version: 535.104.12   CUDA Version: 12.2     |
|-----------------------------------------+----------------------+----------------------+
| GPU  Name                 Persistence-M | Bus-Id        Disp.A | Volatile Uncorr. ECC |
| Fan  Temp   Perf          Pwr:Usage/Cap |         Memory-Usage | GPU-Util  Compute M. |
|                                         |                      |               MIG M. |
|=========================================+======================+======================|
|   0  NVIDIA A30                     On  | 00000000:00:05.0 Off |                   On |
| N/A   63C    P0              72W / 165W |                  N/A |     N/A      Default |
|                                         |                      |              Enabled |
+-----------------------------------------+----------------------+----------------------+

+---------------------------------------------------------------------------------------+
| MIG devices:                                                                          |
+------------------+--------------------------------+-----------+-----------------------+
| GPU  GI  CI  MIG |                   Memory-Usage |        Vol|      Shared           |
|      ID  ID  Dev |                     BAR1-Usage | SM     Unc| CE ENC DEC OFA JPG    |
|                  |                                |        ECC|                       |
|==================+================================+===========+=======================|
|  0    3   0   0  |              12MiB /  5952MiB  | 14      0 |  1   0    1    0    0 |
|                  |               0MiB /  8191MiB  |           |                       |
+------------------+--------------------------------+-----------+-----------------------+
|  0    4   0   1  |              12MiB /  5952MiB  | 14      0 |  1   0    1    0    0 |
|                  |               0MiB /  8191MiB  |           |                       |
+------------------+--------------------------------+-----------+-----------------------+
|  0    5   0   2  |              12MiB /  5952MiB  | 14      0 |  1   0    1    0    0 |
|                  |               0MiB /  8191MiB  |           |                       |
+------------------+--------------------------------+-----------+-----------------------+
|  0    6   0   3  |              12MiB /  5952MiB  | 14      0 |  1   0    1    0    0 |
|                  |               0MiB /  8191MiB  |           |                       |
+------------------+--------------------------------+-----------+-----------------------+

+---------------------------------------------------------------------------------------+
| Processes:                                                                            |
|  GPU   GI   CI        PID   Type   Process name                            GPU Memory |
|        ID   ID                                                             Usage      |
|=======================================================================================|
|  No running processes found                                                           |
+---------------------------------------------------------------------------------------+
root@nvidia-dcgm-exporter-gc6bm:/# nvidia-smi -L
GPU 0: NVIDIA A30 (UUID: GPU-79e36614-3f62-d3dd-cdd0-48b00aa446e0)
  MIG 1g.6gb      Device  0: (UUID: MIG-39f52290-ccf4-5e32-b8b8-cc1877a32051)
  MIG 1g.6gb      Device  1: (UUID: MIG-dbf3834e-128b-5965-88b7-2e3d2fe5a0aa)
  MIG 1g.6gb      Device  2: (UUID: MIG-c735f798-c9d5-5c0e-972c-e0bc6cdb05e7)
  MIG 1g.6gb      Device  3: (UUID: MIG-233d355f-f84e-530d-8526-797b5a867669)

Cilium Addon 설치

Cilium v1.17.3 기준

Prerequisite

Cilium download

필요한 cilium chart 및 image를 다운로드 합니다.

다운로드 받은 cilium 이미지를 archive/push/registry 경로로 압축을 해제합니다.

Push cilium image

Push registry 명령어를 이용하여 cilium image를 업로드해야합니다.

Cilium addon install

Addon install 실행 전 각각의 클러스에서 해당 명령어 실행 필수

설치 가능한 애드온 명칭 및 profile 조회
- --kubeconfig 미입력 시 기본값 : ${CUBE_HOME}/config/{{ CLUSTER }}/acloud-client-kubeconfig
- --profile 미입력 시 기본 적용 파일 : ${CUBE_HOME}/extends/addon/profile/cilium/default.yaml

profile 값 수정
- default.yaml(cilium 온라인 기본 설치)
- default-clustermesh.yaml(cilium clustermesh 설치, 수정 필요)

Addon 설치

Addon 설치 확인

Addon 삭제

삭제 후 재설치 시도시 에러 발생할 때

해당하는 클러스터 이동하여 아래 명령어를 순차적으로 실행 후 재설치 시도

cubectl-v1.3.1
├── archive
│   ├── cubectl-image-v1.3.1.tgz
│   ├── extend-images.tgz
│   ├── local-repo-ubuntu2204-amd64-R250314.tgz
│   ├── push
│   │   ├── localrepo
│   │   └── registry
│   │       ├── docker.io_library_busybox:1.37.0.tar
│   │       ├── ghcr.io_spiffe_spire-agent:1.9.6.tar
│   │       ├── ghcr.io_spiffe_spire-server:1.9.6.tar
│   │       ├── quay.io_cilium_certgen:v0.2.1.tar
│   │       ├── quay.io_cilium_cilium-envoy:v1.32.5-1744305768-f9ddca7dcd91f7ca25a505560e655c47d3dec2cf.tar
│   │       ├── quay.io_cilium_cilium:v1.17.3.tar
│   │       ├── quay.io_cilium_clustermesh-apiserver:v1.17.3.tar
│   │       ├── quay.io_cilium_hubble-relay:v1.17.3.tar
│   │       ├── quay.io_cilium_hubble-ui-backend:v0.13.2.tar
│   │       ├── quay.io_cilium_hubble-ui:v0.13.2.tar
│   │       ├── quay.io_cilium_operator-alibabacloud:v1.17.3.tar
│   │       ├── quay.io_cilium_operator-aws:v1.17.3.tar
│   │       ├── quay.io_cilium_operator-azure:v1.17.3.tar
│   │       ├── quay.io_cilium_operator-generic:v1.17.3.tar
│   │       ├── quay.io_cilium_operator:v1.17.3.tar
│   │       └── quay.io_cilium_startup-script:c54c7edeab7fde4da68e59acd319ab24af242c3f.tar
...

├── extends
│   └── addon
│       ├── charts
│       │   ├── cilium-v1.17.3.tgz
│       │   ├── csi-driver-nfs-v4.6.0.tgz
│       │   ├── csi-driver-nfs-v4.8.0.tgz
│       │   ├── csi-driver-nfs-v4.9.0.tgz
│       │   ├── gpu-operator-v23.9.0.tgz
│       │   ├── gpu-operator-v24.9.0.tgz
│       │   └── kore-board-0.5.5.tgz
│       ├── images
│       │   └── cilium
│       │       └── cilium-v1.17.3.tgz
│       └── profile
│           ├── cilium
│           │   ├── default-airgap-clustermesh.yaml
│           │   ├── default-airgap.yaml
│           │   ├── default-clustermesh.yaml
│           │   └── default.yaml
│           ├── csi-driver-nfs
│           │   └── default.yaml
│           ├── gpu-operator
│           │   └── default.yaml
│           └── kore-board
│               └── default.yaml
└── LICENSE.txt

$ bin/cubectl push registry -u test -p ~/Desktop/key-list/node-ssh
┌─────────────────┬───────────┬────────────────┬───────────────┬─────────────────────────────────────────────────────────────────────────────────────────────┐
│ KIND            │ NODE      │ IP             │ PRIVATE IP    │ PUSH IMAGES                                                                                 │
├─────────────────┼───────────┼────────────────┼───────────────┼─────────────────────────────────────────────────────────────────────────────────────────────┤
│ Push Repository │ node-regi │ 192.168.88.188 │ 10.50.240.253 │ docker.io_library_busybox:1.37.0.tar                                                        │
│                 │           │                │               │ ghcr.io_spiffe_spire-agent:1.9.6.tar                                                        │
│                 │           │                │               │ ghcr.io_spiffe_spire-server:1.9.6.tar                                                       │
│                 │           │                │               │ quay.io_cilium_certgen:v0.2.1.tar                                                           │
│                 │           │                │               │ quay.io_cilium_cilium-envoy:v1.32.5-1744305768-f9ddca7dcd91f7ca25a505560e655c47d3dec2cf.tar │
│                 │           │                │               │ quay.io_cilium_cilium:v1.17.3.tar                                                           │
│                 │           │                │               │ quay.io_cilium_clustermesh-apiserver:v1.17.3.tar                                            │
│                 │           │                │               │ quay.io_cilium_hubble-relay:v1.17.3.tar                                                     │
│                 │           │                │               │ quay.io_cilium_hubble-ui-backend:v0.13.2.tar                                                │
│                 │           │                │               │ quay.io_cilium_hubble-ui:v0.13.2.tar                                                        │
│                 │           │                │               │ quay.io_cilium_operator-alibabacloud:v1.17.3.tar                                            │
│                 │           │                │               │ quay.io_cilium_operator-aws:v1.17.3.tar                                                     │
│                 │           │                │               │ quay.io_cilium_operator-azure:v1.17.3.tar                                                   │
│                 │           │                │               │ quay.io_cilium_operator-generic:v1.17.3.tar                                                 │
│                 │           │                │               │ quay.io_cilium_operator:v1.17.3.tar                                                         │
│                 │           │                │               │ quay.io_cilium_startup-script:c54c7edeab7fde4da68e59acd319ab24af242c3f.tar                  │
└─────────────────┴───────────┴────────────────┴───────────────┴─────────────────────────────────────────────────────────────────────────────────────────────┘

$ bin/cubectl addon list
┌────────────────┬─────────┬─────────┬────────────────────────────┬────────────────────────────────────────┐
│ ADDON NAME     │ VERSION │ STATUS  │ PROFILE                    │ VALUES PATH                            │
├────────────────┼─────────┼─────────┼────────────────────────────┼────────────────────────────────────────┤
│ gpu-operator   │ v24.9.0 │ unknown │                            │ gpu-operator/default.yaml              │
│ cilium         │ 1.17.3  │ unknown │ default-airgap-clustermesh │ cilium/default-airgap-clustermesh.yaml │
│                │         │         │ default-airgap             │ cilium/default-airgap.yaml             │
│                │         │         │ default-clustermesh        │ cilium/default-clustermesh.yaml        │
│                │         │         │                            │ cilium/default.yaml                    │
│ csi-driver-nfs │ v4.10.0 │ unknown │                            │ csi-driver-nfs/default.yaml            │
└────────────────┴─────────┴─────────┴────────────────────────────┴────────────────────────────────────────┘
Duration 30.379208ms time

$ bin/cubectl addon list
┌────────────────┬─────────┬────────────┬────────────────────────────┬────────────────────────────────────────┐
│ ADDON NAME     │ VERSION │ STATUS     │ PROFILE                    │ VALUES PATH                            │
├────────────────┼─────────┼────────────┼────────────────────────────┼────────────────────────────────────────┤
│ cilium         │ 1.17.3  │ enabled ✅ │ default-airgap-clustermesh │ cilium/default-airgap-clustermesh.yaml │
│                │         │            │ default-airgap             │ cilium/default-airgap.yaml             │
│                │         │            │ default-clustermesh        │ cilium/default-clustermesh.yaml        │
│                │         │            │                            │ cilium/default.yaml                    │
│ csi-driver-nfs │ v4.10.0 │ disabled   │                            │ csi-driver-nfs/default.yaml            │
│ gpu-operator   │ v24.9.0 │ disabled   │                            │ gpu-operator/default.yaml              │
│ kore-board     │ 0.5.5   │ disabled   │                            │ kore-board/default.yaml                │
└────────────────┴─────────┴────────────┴────────────────────────────┴────────────────────────────────────────┘
Duration 241.054958ms time

$ kubectl get pod -A
NAMESPACE     NAME                                     READY   STATUS    RESTARTS   AGE
kube-system   cilium-cz8j8                             1/1     Running   0          3m3s
kube-system   cilium-envoy-lqrrk                       1/1     Running   0          3m3s
kube-system   cilium-envoy-z87nh                       1/1     Running   0          3m3s
kube-system   cilium-hfrmw                             1/1     Running   0          3m3s
kube-system   cilium-operator-86d86869fd-444fv         1/1     Running   0          3m3s
kube-system   cilium-operator-86d86869fd-bn848         1/1     Running   0          3m3s
kube-system   coredns-7b9dbb4b67-2255m                 1/1     Running   0          6m38s
kube-system   coredns-7b9dbb4b67-vdlkv                 1/1     Running   0          6m38s
kube-system   haproxy-temp-wk-node-1                   1/1     Running   0          4m56s
kube-system   kube-apiserver-temp-cp-node-1            1/1     Running   0          6m39s
kube-system   kube-controller-manager-temp-cp-node-1   1/1     Running   0          6m39s
kube-system   kube-proxy-24xsp                         1/1     Running   0          4m56s
kube-system   kube-proxy-bl97s                         1/1     Running   0          6m23s
kube-system   kube-scheduler-temp-cp-node-1            1/1     Running   0          6m39s
kube-system   metrics-server-5ccf9c5678-rbrc5          1/1     Running   0          6m18s

cubectl-v1.3.1
├── archive
│   ├── cubectl-image-v1.3.1.tgz
│   ├── extend-images.tgz
│   ├── local-repo-ubuntu2204-amd64-R250314.tgz
│   ├── push
│   │   ├── localrepo
│   │   └── registry
│   │       ├── docker.io_library_busybox:1.37.0.tar
│   │       ├── ghcr.io_spiffe_spire-agent:1.9.6.tar
│   │       ├── ghcr.io_spiffe_spire-server:1.9.6.tar
│   │       ├── quay.io_cilium_certgen:v0.2.1.tar
│   │       ├── quay.io_cilium_cilium-envoy:v1.32.5-1744305768-f9ddca7dcd91f7ca25a505560e655c47d3dec2cf.tar
│   │       ├── quay.io_cilium_cilium:v1.17.3.tar
│   │       ├── quay.io_cilium_clustermesh-apiserver:v1.17.3.tar
│   │       ├── quay.io_cilium_hubble-relay:v1.17.3.tar
│   │       ├── quay.io_cilium_hubble-ui-backend:v0.13.2.tar
│   │       ├── quay.io_cilium_hubble-ui:v0.13.2.tar
│   │       ├── quay.io_cilium_operator-alibabacloud:v1.17.3.tar
│   │       ├── quay.io_cilium_operator-aws:v1.17.3.tar
│   │       ├── quay.io_cilium_operator-azure:v1.17.3.tar
│   │       ├── quay.io_cilium_operator-generic:v1.17.3.tar
│   │       ├── quay.io_cilium_operator:v1.17.3.tar
│   │       └── quay.io_cilium_startup-script:c54c7edeab7fde4da68e59acd319ab24af242c3f.tar
...

├── extends
│   └── addon
│       ├── charts
│       │   ├── cilium-v1.17.3.tgz
│       │   ├── csi-driver-nfs-v4.6.0.tgz
│       │   ├── csi-driver-nfs-v4.8.0.tgz
│       │   ├── csi-driver-nfs-v4.9.0.tgz
│       │   ├── gpu-operator-v23.9.0.tgz
│       │   ├── gpu-operator-v24.9.0.tgz
│       │   └── kore-board-0.5.5.tgz
│       ├── images
│       │   └── cilium
│       │       └── cilium-v1.17.3.tgz
│       └── profile
│           ├── cilium
│           │   ├── default-airgap-clustermesh.yaml
│           │   ├── default-airgap.yaml
│           │   ├── default-clustermesh.yaml
│           │   └── default.yaml
│           ├── csi-driver-nfs
│           │   └── default.yaml
│           ├── gpu-operator
│           │   └── default.yaml
│           └── kore-board
│               └── default.yaml
└── LICENSE.txt

$ bin/cubectl push registry -u test -p ~/Desktop/key-list/node-ssh
┌─────────────────┬───────────┬────────────────┬───────────────┬─────────────────────────────────────────────────────────────────────────────────────────────┐
│ KIND            │ NODE      │ IP             │ PRIVATE IP    │ PUSH IMAGES                                                                                 │
├─────────────────┼───────────┼────────────────┼───────────────┼─────────────────────────────────────────────────────────────────────────────────────────────┤
│ Push Repository │ node-regi │ 192.168.88.188 │ 10.50.240.253 │ docker.io_library_busybox:1.37.0.tar                                                        │
│                 │           │                │               │ ghcr.io_spiffe_spire-agent:1.9.6.tar                                                        │
│                 │           │                │               │ ghcr.io_spiffe_spire-server:1.9.6.tar                                                       │
│                 │           │                │               │ quay.io_cilium_certgen:v0.2.1.tar                                                           │
│                 │           │                │               │ quay.io_cilium_cilium-envoy:v1.32.5-1744305768-f9ddca7dcd91f7ca25a505560e655c47d3dec2cf.tar │
│                 │           │                │               │ quay.io_cilium_cilium:v1.17.3.tar                                                           │
│                 │           │                │               │ quay.io_cilium_clustermesh-apiserver:v1.17.3.tar                                            │
│                 │           │                │               │ quay.io_cilium_hubble-relay:v1.17.3.tar                                                     │
│                 │           │                │               │ quay.io_cilium_hubble-ui-backend:v0.13.2.tar                                                │
│                 │           │                │               │ quay.io_cilium_hubble-ui:v0.13.2.tar                                                        │
│                 │           │                │               │ quay.io_cilium_operator-alibabacloud:v1.17.3.tar                                            │
│                 │           │                │               │ quay.io_cilium_operator-aws:v1.17.3.tar                                                     │
│                 │           │                │               │ quay.io_cilium_operator-azure:v1.17.3.tar                                                   │
│                 │           │                │               │ quay.io_cilium_operator-generic:v1.17.3.tar                                                 │
│                 │           │                │               │ quay.io_cilium_operator:v1.17.3.tar                                                         │
│                 │           │                │               │ quay.io_cilium_startup-script:c54c7edeab7fde4da68e59acd319ab24af242c3f.tar                  │
└─────────────────┴───────────┴────────────────┴───────────────┴─────────────────────────────────────────────────────────────────────────────────────────────┘

$ bin/cubectl addon list
┌────────────────┬─────────┬─────────┬────────────────────────────┬────────────────────────────────────────┐
│ ADDON NAME     │ VERSION │ STATUS  │ PROFILE                    │ VALUES PATH                            │
├────────────────┼─────────┼─────────┼────────────────────────────┼────────────────────────────────────────┤
│ gpu-operator   │ v24.9.0 │ unknown │                            │ gpu-operator/default.yaml              │
│ cilium         │ 1.17.3  │ unknown │ default-airgap-clustermesh │ cilium/default-airgap-clustermesh.yaml │
│                │         │         │ default-airgap             │ cilium/default-airgap.yaml             │
│                │         │         │ default-clustermesh        │ cilium/default-clustermesh.yaml        │
│                │         │         │                            │ cilium/default.yaml                    │
│ csi-driver-nfs │ v4.10.0 │ unknown │                            │ csi-driver-nfs/default.yaml            │
└────────────────┴─────────┴─────────┴────────────────────────────┴────────────────────────────────────────┘
Duration 30.379208ms time

$ bin/cubectl addon list
┌────────────────┬─────────┬────────────┬────────────────────────────┬────────────────────────────────────────┐
│ ADDON NAME     │ VERSION │ STATUS     │ PROFILE                    │ VALUES PATH                            │
├────────────────┼─────────┼────────────┼────────────────────────────┼────────────────────────────────────────┤
│ cilium         │ 1.17.3  │ enabled ✅ │ default-airgap-clustermesh │ cilium/default-airgap-clustermesh.yaml │
│                │         │            │ default-airgap             │ cilium/default-airgap.yaml             │
│                │         │            │ default-clustermesh        │ cilium/default-clustermesh.yaml        │
│                │         │            │                            │ cilium/default.yaml                    │
│ csi-driver-nfs │ v4.10.0 │ disabled   │                            │ csi-driver-nfs/default.yaml            │
│ gpu-operator   │ v24.9.0 │ disabled   │                            │ gpu-operator/default.yaml              │
│ kore-board     │ 0.5.5   │ disabled   │                            │ kore-board/default.yaml                │
└────────────────┴─────────┴────────────┴────────────────────────────┴────────────────────────────────────────┘
Duration 241.054958ms time

$ kubectl get pod -A
NAMESPACE     NAME                                     READY   STATUS    RESTARTS   AGE
kube-system   cilium-cz8j8                             1/1     Running   0          3m3s
kube-system   cilium-envoy-lqrrk                       1/1     Running   0          3m3s
kube-system   cilium-envoy-z87nh                       1/1     Running   0          3m3s
kube-system   cilium-hfrmw                             1/1     Running   0          3m3s
kube-system   cilium-operator-86d86869fd-444fv         1/1     Running   0          3m3s
kube-system   cilium-operator-86d86869fd-bn848         1/1     Running   0          3m3s
kube-system   coredns-7b9dbb4b67-2255m                 1/1     Running   0          6m38s
kube-system   coredns-7b9dbb4b67-vdlkv                 1/1     Running   0          6m38s
kube-system   haproxy-temp-wk-node-1                   1/1     Running   0          4m56s
kube-system   kube-apiserver-temp-cp-node-1            1/1     Running   0          6m39s
kube-system   kube-controller-manager-temp-cp-node-1   1/1     Running   0          6m39s
kube-system   kube-proxy-24xsp                         1/1     Running   0          4m56s
kube-system   kube-proxy-bl97s                         1/1     Running   0          6m23s
kube-system   kube-scheduler-temp-cp-node-1            1/1     Running   0          6m39s
kube-system   metrics-server-5ccf9c5678-rbrc5          1/1     Running   0          6m18s

Addons

ADDON 관련 파일 다운로드

hashtag실행 명령어

hashtagDownload-addon 스크립트 인자값 정의 및 사용법

hashtag명령어 실행 후 local상 파일구조

CSI-NFS Addon 설치

hashtagCSI-NFS Addon Installation

GPU Addon 설치

hashtagPrerequisite

hashtagGPU Addon Installation

hashtagMIG(multi instance GPU) 설정 방법

hashtagTime-Slicing 설정 방법

Cilium Addon 설치

hashtagPrerequisite

hashtagCilium download

hashtagPush cilium image

hashtagCilium addon install

hashtagAddon 삭제

hashtag삭제 후 재설치 시도시 에러 발생할 때

CSI-NFS Addon 설치

hashtagCSI-NFS Addon Installation

GPU Addon 설치

hashtagPrerequisite

hashtagGPU Addon Installation

hashtagMIG(multi instance GPU) 설정 방법

hashtagTime-Slicing 설정 방법

ADDON 관련 파일 다운로드

hashtag실행 명령어

hashtagDownload-addon 스크립트 인자값 정의 및 사용법

hashtag명령어 실행 후 local상 파일구조

Cilium Addon 설치

hashtagPrerequisite

hashtagCilium download

hashtagPush cilium image

hashtagCilium addon install

hashtagAddon 삭제

hashtag삭제 후 재설치 시도시 에러 발생할 때

Addons

실행 명령어

Download-addon 스크립트 인자값 정의 및 사용법

명령어 실행 후 local상 파일구조

CSI-NFS Addon Installation

Prerequisite

GPU Addon Installation

MIG(multi instance GPU) 설정 방법

Time-Slicing 설정 방법

Prerequisite

Cilium download

Push cilium image

Cilium addon install

Addon 삭제

삭제 후 재설치 시도시 에러 발생할 때

CSI-NFS Addon Installation

Prerequisite

GPU Addon Installation

MIG(multi instance GPU) 설정 방법

Time-Slicing 설정 방법

실행 명령어

Download-addon 스크립트 인자값 정의 및 사용법

명령어 실행 후 local상 파일구조

Prerequisite

Cilium download

Push cilium image

Cilium addon install

Addon 삭제

삭제 후 재설치 시도시 에러 발생할 때