destroy
├── cluster
├── registry
└── storage

destroy

since v1.0.0

쿠버네티스 클러스터, Registry, Storage 서버를 제거합니다.

$ cubectl destroy  -p <ssh key> -u <username>

parameters

• -p <ssh key>

  • 설치 호스트들의 Passwordless SSH 연결을 위한 Private-Key 입니다.

• -u <username>

  • 설치 호스트들의 Passwordless SSH 연결을 위한 사용자 계정명입니다.

• -a, --auto-approve

  • optional

  • IP 확인 및 y/n 질의 절차를 생략합니다.

• -c, --cluster

  • optional

  • Cluster 이름을 입력합니다.

  • Default : "default"

• -f, --config

  • optional

  • cubectl.toml 경로를 입력합니다.

  • Default : ${CUBE_HOME}/config/cubectl.toml

• --container-runtime

  • optional

  • 컨테이너 런타임을 지정합니다. podman 또는 docker 중에서 선택할 수 있습니다.

  • Default : "podman"

• --cube

  • optional

  • Cube의 버전을 지정합니다.

  • Default : "latest"

• --port

  • optional

  • 원격 호스트의 포트를 지정합니다.

  • Default : 22

• -v, --verbose

  • optional

  • 상세 출력을 활성화합니다.

examples

$ cubectl destroy -p ~/.ssh/id_rsa -u cocktail

destroy cluster

since v1.0.0

쿠버네티스 클러스터를 제거합니다.

parameters

• -p <ssh key>

  • 설치 호스트들의 Passwordless SSH 연결을 위한 Private-Key 입니다.

• -u <username>

  • 설치 호스트들의 Passwordless SSH 연결을 위한 사용자 계정명입니다.

• -a, --auto-approve

  • optional

  • IP 확인 및 y/n 질의 절차를 생략합니다.

• -c, --cluster

  • optional

  • Cluster 이름을 입력합니다.

  • Default : "default"

• -f, --config

  • optional

  • cubectl.toml 경로를 입력합니다.

  • Default : ${CUBE_HOME}/config/cubectl.toml

• --container-runtime

  • optional

  • 컨테이너 런타임을 지정합니다. podman 또는 docker 중에서 선택할 수 있습니다.

  • Default : "podman"

• --cube

  • optional

  • Cube의 버전을 지정합니다.

  • Default : "latest"

• --port

  • optional

  • 원격 호스트의 포트를 지정합니다.

  • Default : 22

• -v, --verbose

  • optional

  • 상세 출력을 활성화합니다.

examples

$ cubectl destroy cluster -p ~/.ssh/id_rsa -u cocktail

destroy registry

since v1.0.0

저장소를 제거합니다.

parameters

• -p <ssh key>

  • 설치 호스트들의 Passwordless SSH 연결을 위한 Private-Key 입니다.

• -u <username>

  • 설치 호스트들의 Passwordless SSH 연결을 위한 사용자 계정명입니다.

• -a, --auto-approve

  • optional

  • IP 확인 및 y/n 질의 절차를 생략합니다.

• -c, --cluster

  • optional

  • Cluster 이름을 입력합니다.

  • Default : "default"

• -f, --config

  • optional

  • cubectl.toml 경로를 입력합니다.

  • Default : ${CUBE_HOME}/config/cubectl.toml

• --container-runtime

  • optional

  • 컨테이너 런타임을 지정합니다. podman 또는 docker 중에서 선택할 수 있습니다.

  • Default : "podman"

• --cube

  • optional

  • Cube의 버전을 지정합니다.

  • Default : "latest"

• --port

  • optional

  • 원격 호스트의 포트를 지정합니다.

  • Default : 22

• -v, --verbose

  • optional

  • 상세 출력을 활성화합니다.

examples

$ cubectl destroy registry -p ~/.ssh/id_rsa -u cocktail

destroy localrepo

since v1.2.4

localrepo 서버를 제거합니다.

parameters

• -p <ssh key>

  • 설치 호스트들의 Passwordless SSH 연결을 위한 Private-Key 입니다.

• -u <username>

  • 설치 호스트들의 Passwordless SSH 연결을 위한 사용자 계정명입니다.

• -a, --auto-approve

  • optional

  • IP 확인 및 y/n 질의 절차를 생략합니다.

• -c, --cluster

  • optional

  • Cluster 이름을 입력합니다.

  • Default : "default"

• -f, --config

  • optional

  • cubectl.toml 경로를 입력합니다.

  • Default : ${CUBE_HOME}/config/cubectl.toml

• --container-runtime

  • optional

  • 컨테이너 런타임을 지정합니다. podman 또는 docker 중에서 선택할 수 있습니다.

  • Default : "podman"

• --cube

  • optional

  • Cube의 버전을 지정합니다.

  • Default : "latest"

• --port

  • optional

  • 원격 호스트의 포트를 지정합니다.

  • Default : 22

• -v, --verbose

  • optional

  • 상세 출력을 활성화합니다.

examples

$ cubectl destroy localrepo -p ~/.ssh/id_rsa -u cocktail

destroy storage

since v1.0.0

Storage 서버를 제거합니다.

parameters

• -p <ssh key>

  • 설치 호스트들의 Passwordless SSH 연결을 위한 Private-Key 입니다.

• -u <username>

  • 설치 호스트들의 Passwordless SSH 연결을 위한 사용자 계정명입니다.

• -a, --auto-approve

  • optional

  • IP 확인 및 y/n 질의 절차를 생략합니다.

• -c, --cluster

  • optional

  • Cluster 이름을 입력합니다.

  • Default : "default"

• -f, --config

  • optional

  • cubectl.toml 경로를 입력합니다.

  • Default : ${CUBE_HOME}/config/cubectl.toml

• --container-runtime

  • optional

  • 컨테이너 런타임을 지정합니다. podman 또는 docker 중에서 선택할 수 있습니다.

  • Default : "podman"

• --cube

  • optional

  • Cube의 버전을 지정합니다.

  • Default : "latest"

• --port

  • optional

  • 원격 호스트의 포트를 지정합니다.

  • Default : 22

• -v, --verbose

  • optional

  • 상세 출력을 활성화합니다.

examples

$ cubectl destroy storage -p ~/.ssh/id_rsa -u cocktail

create

since v1.0.0

쿠버네티스 클러스터 및 사설 저장소(harbor), 스토리지 서버(Network File Server)를 설치합니다.

$ cubectl create -p <ssh key> -u <username>

parameters

• -p <ssh key>

  • 설치 호스트들의 Passwordless SSH 연결을 위한 Private-Key 입니다.

• -u <username>

  • 설치 호스트들의 Passwordless SSH 연결을 위한 사용자 계정명입니다.

• -a, --auto-approve

  • optional

  • IP 확인 및 y/n 질의 절차를 생략합니다.

• -c, --cluster

  • optional

  • Cluster 이름을 입력합니다.

  • Default : "default"

• -f, --config

  • optional

  • cubectl.toml 경로를 입력합니다.

  • Default : ${CUBE_HOME}/config/cubectl.toml

• --container-runtime

  • optional

  • 컨테이너 런타임을 지정합니다. podman 또는 docker 중에서 선택할 수 있습니다.

  • Default : "podman"

• --cube

  • optional

  • Cube의 버전을 지정합니다.

  • Default : "latest"

• --port

  • optional

  • 원격 호스트의 포트를 지정합니다.

  • Default : 22

• -v, --verbose

  • optional

  • 상세 출력을 활성화합니다.

examples

$ cat <<EOF > ${CUBE_HOME}/config/cubectl.toml
[cubectl]
closed-network = true
local-repository-install = true
[kubernetes]
version = "v1.28.15"
[node-pool.master]
ip = ["192.168.77.132"]
private-ip = ["10.30.30.192"]
[node-pool.node]
ip = ["192.168.77.98"]
private-ip = ["10.30.30.30"]
[private-registry]
install = true
registry-ip = "192.168.77.119"
private-ip = "10.30.30.50"
EOF

$ cubectl create -p ~/.ssh/id_rsa -u cocktail

upgrade

since v1.0.0

설치된 쿠버네티스 클러스터의 버전을 업그레이드합니다.

cubectl 로 프로비저닝된 클러스터만 업그레이드가 가능합니다.

업그레이드 버전 범위는 v1.24 에서 v1.27 까지이며 단계별로 업그레이드가 진행됩니다. (1.23 -> 1.24 -> 1.25 -> 1.26 -> 1.27)

다운그레이드는 불가능합니다.

$ cubectl upgrade -p <ssh key> -u <username> --kubeconfig <KUBECONFIG>

parameters

• -p <ssh key>

  • 설치 호스트들의 Passwordless SSH 연결을 위한 Private-Key 입니다.

• -u <username>

  • 설치 호스트들의 Passwordless SSH 연결을 위한 사용자 계정명입니다.

• --kubeconfig <kubeconfig file>

  • 업그레이드할 쿠버네티스 클러스터의 kubeconfig 파일입니다.

  • Default : ${CUBE_HOME}/config/{{CLUSTER}}/acloud-client-kubeconfig

• -a, --auto-approve

  • optional

  • IP 확인 및 y/n 질의 절차를 생략합니다.

• -c, --cluster

  • optional

  • Cluster 이름을 입력합니다.

  • Default : "default"

• -f, --config

  • optional

  • cubectl.toml 경로를 입력합니다.

  • Default : ${CUBE_HOME}/config/cubectl.toml

• --container-runtime

  • optional

  • 컨테이너 런타임을 지정합니다. podman 또는 docker 중에서 선택할 수 있습니다.

  • Default : "podman"

• --cube

  • optional

  • Cube의 버전을 지정합니다.

  • Default : "latest"

• --port

  • optional

  • 원격 호스트의 포트를 지정합니다.

  • Default : 22

• -v, --verbose

  • optional

  • 상세 출력을 활성화합니다.

examples

$ cubectl upgrade -p ~/.ssh/id_rsa -u cocktail --kubeconfig $(pwd)/config/{{CLUSTER}}/acloud-client-kubeconfig

※ 자세한 내용은 Tutorial - 버전 업그레이드 를 참조합니다.

update-kubeconfig

since v1.0.0

설치된 쿠버네티스 클러스터의 KUBECONFIG 파일을 다운로드받습니다.

acloud-client-kubeconfig 파일로 저장됩니다.

$ cubectl update-kubeconfig -p <ssh key> -u <username>

parameters

• -p <ssh key>

  • 설치 호스트들의 Passwordless SSH 연결을 위한 Private-Key 입니다.

• -u <username>

  • 설치 호스트들의 Passwordless SSH 연결을 위한 사용자 계정명입니다.

• -a, --auto-approve

  • optional

  • IP 확인 및 y/n 질의 절차를 생략합니다.

• -c, --cluster

  • optional

  • Cluster 이름을 입력합니다.

  • Default : "default"

• -f, --config

  • optional

  • cubectl.toml 경로를 입력합니다.

  • Default : ${CUBE_HOME}/config/cubectl.toml

• --container-runtime

  • optional

  • 컨테이너 런타임을 지정합니다. podman 또는 docker 중에서 선택할 수 있습니다.

  • Default : "podman"

• --cube

  • optional

  • Cube의 버전을 지정합니다.

  • Default : "latest"

• --port

  • optional

  • 원격 호스트의 포트를 지정합니다.

  • Default : 22

• -v, --verbose

  • optional

  • 상세 출력을 활성화합니다.

examples

$ cubectl update-kubeconfig -p ~/.ssh/id_rsa -u cocktail
$ cat config/default/acloud-client-kubeconfig

$ cubectl update-kubeconfig -p ~/.ssh/id_rsa -u cocktail -c cluster-1
$ cat config/cluster-1/acloud-client-kubeconfig

addon
├── list
├── enable
└── disable

addon list

since v1.2.0

애드온 목록을 조회합니다.

$ cubectl addon list --kubeconfig <kubeconfig file>

parameters

• --kubeconfig <kubeconfig file>

  • 쿠버네티스 클러스터의 kubeconfig 파일입니다.

  • Default : ${CUBE_HOME}/config/{{CLUSTER}}/acloud-client-kubeconfig

examples

$ cubectl addon list
$ cubectl addon list --kubeconfig acloud-client-kubeconfig

addon enable

since v1.2.0

조회된 애드온 목록에서 설치할 ADDON_NAME을 확인하고 해당 애드온을 설치 합니다.

$ cubectl addon enable {{ADDON_NAME}} --kubeconfig <kubeconfig file>  --profile <profile file>

parameters

• --kubeconfig <kubeconfig file>

  • 애드온을 설치할 쿠버네티스 클러스터의 kubeconfig 파일입니다.

  • Default : ${CUBE_HOME}/config/{{CLUSTER}}/acloud-client-kubeconfig

• --profile <profile file>

  • 애드온에 적용할 profile 파일명을 입력합니다. (확장자 제외)

  • Default : 미 입력시 default.yaml 사용됨

examples

$ cubectl addon enable gpu-operator
$ cubectl addon enable gpu-operator --kubeconfig acloud-client-kubeconfig
$ cubectl addon enable gpu-operator --kubeconfig acloud-client-kubeconfig --profile redhat
$ cubectl addon enable gpu-operator --kubeconfig acloud-client-kubeconfig --profile redhat

addon disable

since v1.2.0

설치된 애드온을 삭제 합니다.

$ cubectl addon disable {{ADDON_NAME}} --kubeconfig <kubeconfig file>

parameters

• --kubeconfig <kubeconfig file>

  • 애드온을 삭제할 쿠버네티스 클러스터의 kubeconfig 파일입니다.

  • Default : ${CUBE_HOME}/config/{{CLUSTER}}/acloud-client-kubeconfig

examples

$ cubectl addon disable csi-driver-nfs
$ cubectl addon disable csi-driver-nfs --kubeconfig acloud-client-kubeconfig

개요

cubectl 은 cubectl.toml 에 지정된 설정 값을 기반으로 쿠버네티스 클러스터를 프로비저닝하고 관련 툴을 설치하는 Command Line Interface 입니다.

구조

cubectl command 구조는 다음과 같습니다.

cubectl/
├── create
├── destroy
│   ├── cluster
│   ├── registry
│   ├── localrepo
│   └── storage
├── update
├── update-kubeconfig
├── upgrade
├── config
│   ├── view
│   ├── new
│   └── sync 
│── addon
│   ├── list
│   ├── enable
│   └── disable
│── push
│   ├── registry
│   └── localrepo
├── version
└── help

목차

• create : 쿠버네티스 클러스터를 프로비저닝하고 사설 저장소(harbor), 스토리지 서버(NFS) 툴 설치합니다.

• destroy : 프로비저닝된 쿠버네티스 클러스터, 사설 저장소(harbor), 스토리지 서버(NFS) 툴 제거합니다.

• update : 쿠버네티스 노드를 추가,삭제 합니다.

• update-kubeconfig : 쿠버네티스 클러스터의 KUBECONFIG 파일을 저장합니다.

• upgrade : 쿠버네티스 클러스터 버전을 업그레이드 합니다.

• config : 설정 정보 파일인 cubectl.toml 생성/조회하거나 프로비저닝된 쿠버네티스 클러스터와 cubectl.toml 파일을 동기화 합니다.

• addon : 애드온 어플리케이션을 배포합니다.

• push : 컨테이너 이미지를 레지스트리에 push 합니다, OS 패키지를 local repository에 push하고 재구성합니다.

• version : CLI 버전 정보를 조회합니다.

• help : 애플리케이션 내의 모든 명령어에 대한 도움말을 제공합니다.

update

since v1.0.0

쿠버네티스 클러스터에 워커 노드를 추가하거나 삭제합니다.

$ cubectl update -p <ssh key> -u <username> --kubeconfig <kubeconfig file>

parameters

• -p <ssh key>

  • 설치 호스트들의 Passwordless SSH 연결을 위한 Private-Key 입니다.

• -u <username>

  • 설치 호스트들의 Passwordless SSH 연결을 위한 사용자 계정명입니다.

• --kubeconfig <kubeconfig file>

  • 업데이트할 쿠버네티스 클러스터의 kubeconfig 파일입니다.

  • Default : ${CUBE_HOME}/config/{{CLUSTER}}/acloud-client-kubeconfig

• -a, --auto-approve

  • optional

  • IP 확인 및 y/n 질의 절차를 생략합니다.

• -c, --cluster

  • optional

  • Cluster 이름을 입력합니다.

  • Default : "default"

• -f, --config

  • optional

  • cubectl.toml 경로를 입력합니다.

  • Default : ${CUBE_HOME}/config/cubectl.toml

• --container-runtime

  • optional

  • 컨테이너 런타임을 지정합니다. podman 또는 docker 중에서 선택할 수 있습니다.

  • Default : "podman"

• --cube

  • optional

  • Cube의 버전을 지정합니다.

  • Default : "latest"

• --port

  • optional

  • 원격 호스트의 포트를 지정합니다.

  • Default : 22

• -v, --verbose

  • optional

  • 상세 출력을 활성화합니다.

examples

$ cubectl update -p ~/.ssh/id_rsa -u cocktail --kubeconfig $(pwd)/config/{{CLUSTER}}/acloud-client-kubeconfig

config
├── new
├── view
└── sync

config new

since v1.0.0

config/cubectl.toml 에 새로운 cubectl.toml 파일을 생성합니다.

$ cubectl config new

parameters

• -a, --auto-approve

  • optional

  • y/n 질의 절차를 생략합니다.

examples

$ bin/cubectl config new

Do you really want to make a new config file? 
Is this ok [y/n]: y

[cubectl]
## Required
## - local-repository-install: local repository installation activate. (Required when selecting the closed network.)
##                             It is installed on the registry host.
## - local-repository-url: local repository service url (Required when selecting the closed network.)
##                         If you are installing a private repository, you can skip it. (default: registry-ip)
## Optional
## - cluster-name: use cluster name in config context (default: "kubernetes")
## - install-dir: installation scripts(harbor, shell scripts) save directory (default: "/var/lib/cubectl")
## - cert-validity-days: SSL validity days(default: 36500)
## - closed-network: Enable Air Gap (default: false)
#cluster-name = "kubernetes"
#install-dir = "/var/lib/cubectl"
#cert-validity-days = 36500
#debug-mode = false
#closed-network = false
#local-repository-install = false
#local-repository-url = "http://x.x.x.x"

[kubernetes]
## Required
## -
## Optional
## - version: Kubernetes version (default: "latest")
##            If you input only the major version, the minor version automatically selects the last version.
## - container-runtime: use k8s cri (only containerd)
## - kube-proxy-mode: use k8s proxy mode [iptables | ipvs] (default: "ipvs")
## - service-cidr: k8s service network cidr (default: "10.96.0.0/20")
## - pod-cidr: k8s pod network cidr (default: "10.4.0.0/16")
## - node-port-range: k8s node port network range (default: "30000-32767")
## - audit-log-enable: k8s audit log enabled (default: true)
## - api-sans: Add k8s apiserver SAN [--apiserver-cert-extra-sans same as setting] (default: master[0] ip address)
#version = "v1.23.13"
#container-runtime = "containerd"
#kube-proxy-mode = "ipvs"
#service-cidr = "10.96.0.0/20"
#pod-cidr = "10.4.0.0/16"
#node-port-range = "30000-32767"
#audit-log-enable = true
#api-sans = ["x.x.x.x"]

[kubernetes.etcd]
## Required
## - ip: k8s control plane nodes ip address. (Required when selecting the external-etcd="true")
## - private-ip: K8s control plane nodes private ip address. (Required when selecting the external-etcd="true")
##               If you use the same IP address, you can skip it.
## Optional
## - external-etcd: used external etcd than input the ip and private-ip address (default: false)
##                  not used than skip ip address. it is used control plane nodes as automatic.
#external-etcd = false
#ip = ["x.x.x.x"]
#private-ip = ["x.x.x.x"]


[kubernetes.calico]
## Required
## -
## Optional
## - vxlan-mode: calico VXLAN mode activate (default: false)
#vxlan-mode = false

[node-pool]
## Required
## -
## Optional
## - data-dir: data(backup, docker, log, kubelet, etcd, k8s-audit, containerd) root dir (default: "/data")
## - ssh-port: Node ssh port (default: 22)
#data-dir = "/data"
#ssh-port = 22

[node-pool.master]
## Required
## - ip: k8s control plane nodes ip address.
## - private-ip: K8s control plane nodes private ip address.
##               If you use the same IP address, you can skip it.
## Optional
## - lb-ip: load balancer ip address (default: master[0] node ip address)
## - isolated: K8s control plane nodes isolated (default: true)
## - haproxy-install: used internal load-balancer (default: true)
## - lb-ip: Enter the IP address when using a load balancer (default: master[0] ip address)
## - lb-port: Enter the port when using a load balancer (default: 6443)
#ip = ["x.x.x.x","x.x.x.x","x.x.x.x"]
#private-ip = ["x.x.x.x","x.x.x.x","x.x.x.x"]
#isolated = true
#haproxy-install = true
#lb-ip = "x.x.x.x"
#lb-port = 6443

[node-pool.node]
## Required
## - ip: k8s work nodes ip address.
## - private-ip: K8s work nodes private ip address.
##               If you use the same IP address, you can skip it.
## Optional
#ip = ["x.x.x.x", "x.x.x.x"]
#private-ip = ["x.x.x.x", "x.x.x.x"]

[private-registry]
## Required
## - registry-ip: Public IP address of the private registry node.
##                This is a required entry used when installing a private registry.
## - private-ip: Private IP address of the private registry node.
##               This is a required entry used when installing a private registry.
##               If you use the same IP address, you can skip it.
## Optional
## - install: private registry install (default: false)
## - data-dir: private registry data directory (default: "/data/harbor")
## - public-cert: public cert activate (default: false)
## - cocktail-archive-file: Push cocktail addons and image files to the harbor (default:"")
#install = false
#registry-ip = "x.x.x.x"
#private-ip = "x.x.x.x"
#registry-domain = "x.x.x.x"
#data-dir = "/data/harbor"
#public-cert = false
#cocktail-archive-file = ""

[private-registry.cert-file]
## Required
## - ssl-certificate: The certificate path used when using public-cert.
##                    This is a required field used when using a public certificate.
## - ssl-certificate-key: The certificate-key used when using public-cert.
##                        This is a required field used when using a public certificate.
## Optional
#ssl-certificate = ""
#ssl-certificate-key = ""

[shared-storage]
## Required
## - storage-ip: Storage node ip address.
##               This is a required field used when installing the nfs server.
##               (this is using it to generate an inventory and generate an extra vars)
## - private-ip: Storage node ip address.
##               This is a required field used when installing the nfs server.
##               If you use the same IP address, you can skip it.
##               (this is using it to generate an inventory)
## - volume-dir: Storage node data directory. (default: /data/storage)
##               This is a required field used when installing the nfs server.
##               (this is using it to generate an extra vars)
## Optional
## - install: NFS Server Installation (default: false)
#install = false
#storage-ip = "x.x.x.x"
#private-ip = "x.x.x.x"
#volume-dir = "/data/storage"
#nfs_version = "4.1"

config view

since v1.0.0

cubectl.toml 파일의 내용을 확인합니다.

$ cubectl config view

examples

$ bin/cubectl config view

[cubectl]

[kubernetes]
version = "v1.23.13"

[kubernetes.etcd]


[kubernetes.calico]

[node-pool]

[node-pool.master]
ip = ["x.x.x.x","x.x.x.x","x.x.x.x"]

[node-pool.node]

[private-registry]

[private-registry.cert-file]

[shared-storage]

[prepare-airgap]

~~~config sync~~~

since v1.0.0 (deprecated v1.2.0)

~~~해당 파일은 Control-Plane 노드의 `/etc/kubernetes/cubectl-config-cm.yaml` 에 존재합니다.~~~


### parameters

* `-p <ssh key>`
    * 설치 호스트들의 Passwordless SSH 연결을 위한 Private-Key 입니다.

* `-u <username>`
    * 설치 호스트들의 Passwordless SSH 연결을 위한 사용자 계정명 입니다.

* `-a, --auto-approve`
  * _optional_
  * y/n 질의 절차 생략.


### examples

```
$ bin/cubectl config sync -p ~/.ssh/id_rsa -u cocktail

## Inventory for Sync the configuration task.
================================================================
Node Name           IP                    Private IP
================================================================
node-0              x.x.x.x
================================================================
Is this ok [y/n]: y
```