1 of 43

CUBE

Overview

CUBE

CUBE는 아콘소프트에서 제공하는 쿠버네티스 배포판입니다.

cubectl은 CUBE를 프로비저닝 및 라이프사이클 관리를 자동화하는 Command-Line-Interface 도구입니다.

주요기능:

쿠버네티스 클러스터 프로비저닝.

Getting Started

Preparation

설치 가능한 리눅스 배포판 확인
- see Guide page for more information.
호스트간 방화벽 확인
- see Guide page for more information.
sudoers 실행 권한 확인
- see Guide page for more information.
호스트 간 Passwordless SSH 설정 확인
- 동일 계정 및 Private Key 필요

Getting Started

download

cubectl은 상용 제품입니다. 다운로드 계정 발급은 로 문의바랍니다.

See Guide page for more information.

Create a cluster

See Guide page for more information.

Connect to your cluster

See Guide page for more information.

Destroy a cluster

See Guide page for more information.

Infrastructure Specifications

Resource Specifications

Minimum resource requirements (For Kubernetes only)

2 vCPUs
2 GB RAM
20 GB Storage

Minimum resource requirements (For Installation of Cocktail)

구분

수량

CPU

Memory

Disk

비고

Recommended resource requirements (For Installation of Cocktail)

구분

수량

CPU

Memory

Disk

비고

Firewall Settings

※ all nodes

Protocol

Direction

Port Range

Description

※ control plane

Protocol

Direction

Port Range

Purpose

Used By

※ worker nodes

Protocol

Direction

Port Range

Purpose

Used By

※ registry (harbor + linux-local-repository, optional)

Protocol

Direction

Port Range

Purpose

Used By

Sudoers Table

Bin

Control-Planes

Workers

Registry

Bastion

NOPASSWD

After-Install

Description

Running `cubectl`

OS : linux, darwin(osx)
CPU : amd64(x86_64), arm64(aarch64)
CentOS 7, RedHat Enterprise Linux 7 은 /proc/sys/user/max_user_namespaces 10000 이상 값설정 필요.

Download CUBE

CUBE 다운로드

CUBE는 다음과 같이 4가지 설치 패키지 다운로드를 제공합니다:

온라인 설치 패키지

Supported Versions

Node

Supported CPU architectures

Release

Latest History

v1.3.4

Reference

cubectl

개요

cubectl 은 cubectl.toml 에 지정된 설정 값을 기반으로 쿠버네티스 클러스터를 프로비저닝하고 관련 툴을 설치하는 Command Line Interface 입니다.

구조

cubectl command 구조는 다음과 같습니다.

: 쿠버네티스 클러스터를 프로비저닝하고 사설 저장소(harbor), 스토리지 서버(NFS) 툴 설치합니다.
: 프로비저닝된 쿠버네티스 클러스터, 사설 저장소(harbor), 스토리지 서버(NFS) 툴 제거합니다.
: 쿠버네티스 노드를 추가,삭제 합니다.

create

`create`

쿠버네티스 클러스터 및 사설 저장소(harbor), 스토리지 서버(Network File Server)를 설치합니다.

$ cubectl create -p <ssh key> -u <username>

parameters

-p <ssh key>
- 설치 호스트들의 Passwordless SSH 연결을 위한 Private-Key 입니다.
-u <username>

examples

destroy

`destroy`

쿠버네티스 클러스터, Registry, Storage 서버를 제거합니다.

update

`update`

쿠버네티스 클러스터에 워커 노드를 추가하거나 삭제합니다.

$ cubectl update -p <ssh key> -u <username> --kubeconfig <kubeconfig file>

parameters

-p <ssh key>
- 설치 호스트들의 Passwordless SSH 연결을 위한 Private-Key 입니다.
-u <username>

examples

update-kubeconfig

`update-kubeconfig`

설치된 쿠버네티스 클러스터의 KUBECONFIG 파일을 다운로드받습니다.

acloud-client-kubeconfig 파일로 저장됩니다.

parameters

-p <ssh key>
- 설치 호스트들의 Passwordless SSH 연결을 위한 Private-Key 입니다.
-u <username>

examples

upgrade

`upgrade`

설치된 쿠버네티스 클러스터의 버전을 업그레이드합니다.

cubectl

config

`config new`

config/cubectl.toml 에 새로운 cubectl.toml 파일을 생성합니다.

addon

`addon list`

애드온 목록을 조회합니다.

cubectl.toml

cubectl.toml 은 클러스터를 설치하고 업데이트기 위한 기본 설정 정보 파일입니다.

"cubectl config new" 명령으로 template 파일을 생성할 수 있습니다.

구조

cubectl.toml 의 설정 구조는 아래와 같습니다.

cubectl

cubectl 실행 환경을 정의합니다.

[cubectl]

cluster-name

설치되는 쿠버네티스 클러스터의 이름입니다.

Type : string
Default : kubernetes
Since : v1.0.0

cert_validity_days

인증서 만료기간 입니다.

Type : integer
Default : 36500 (100년)
Since : v1.0.0

install-dir

노드별 CUBECTL 설치 스크립트 (harbor, shell scripts) 저장 디렉토리입니다.

Type : string
Default : "/var/lib/cubectl"
Since : v1.0.0

closed-network

폐쇄망 설치 여부를 선택합니다.

폐쇄망 설치일 경우 :./archive 디렉토리에 설치 압축파일들이 반드시 존재해야 합니다.

Type : boolean
Default : false
Since : v1.0.0

local-repository-install

리눅스 로컬 저장소 설치를 활성화 합니다.

폐쇄망 설치 시는 true 로 지정해야 하고 {CUBE_HOME}/archive/runtime 디렉토리에 harbor-offline-installer-{VERSION}-linux-{ARCH}.tgz 파일이 존재해야 합니다.

멀티 OS로 클러스터를 구성할 경우 Ubuntu 20.04는 지원하지 않습니다.

Type : boolean
Default : -
Since : v1.0.0

local-repository-url

리눅스 로컬 저장소의 서비스의 URL입니다.

지정하지 않을 경우 사설 저장소의 IP address 가 자동 지정됩니다.

Type : string
Default : "http://{{ registry-ip }}:8080"
Since : v1.0.0

local-repository-port

~~리눅스 로컬 저장소의 서비스 포트번호 입니다.~~

kubernetes

쿠버네티스와 관련된 속성을 정의합니다.

[kubernetes]

version

Console

Tutorial

cubectl

cubectl 실행 환경을 정의합니다.

cubectl
├── cluster-name
├── cert_validity_days
├── install-dir
├── closed-network
├── local-repository-install
└── local-repository-url

[cubectl]

cluster-name

설치되는 쿠버네티스 클러스터의 이름입니다.

Type : string
Default : kubernetes
Since : v1.0.0

cert_validity_days

인증서 만료기간 입니다.

Type : integer
Default : 36500 (100년)
Since : v1.0.0

install-dir

노드별 CUBECTL 설치 스크립트 (harbor, shell scripts) 저장 디렉토리입니다.

Type : string
Default : "/var/lib/cubectl"
Since : v1.0.0

closed-network

폐쇄망 설치 여부를 선택합니다.

폐쇄망 설치일 경우 :./archive 디렉토리에 설치 압축파일들이 반드시 존재해야 합니다.

Type : boolean
Default : false
Since : v1.0.0

local-repository-install

리눅스 로컬 저장소 설치를 활성화 합니다.

폐쇄망 설치 시는 true 로 지정해야 하고 {CUBE_HOME}/archive/runtime 디렉토리에 harbor-offline-installer-{VERSION}-linux-{ARCH}.tgz 파일이 존재해야 합니다.

멀티 OS로 클러스터를 구성할 경우 Ubuntu 20.04는 지원하지 않습니다.

Type : boolean
Default : -
Since : v1.0.0

local-repository-url

리눅스 로컬 저장소의 서비스의 URL입니다.

지정하지 않을 경우 사설 저장소의 IP address 가 자동 지정됩니다.

Type : string
Default : "http://{{ registry-ip }}:8080"
Since : v1.0.0

local-repository-port

~~리눅스 로컬 저장소의 서비스 포트번호 입니다.~~

[cubectl]
## Required
## - local-repository-install: local repository installation activate. (Required when selecting the closed network.)
##                             It is installed on the registry host.
## - local-repository-url: local repository service url (Required when selecting the closed network.)
##                         If you are installing a private repository, you can skip it. (default: registry-ip)
## Optional
## - cluster-name: use cluster name in config context (default: "kubernetes")
## - install-dir: installation scripts(harbor, shell scripts) save directory (default: "/var/lib/cubectl")
## - cert-validity-days: SSL validity days(default: 36500)
## - closed-network: Enable Air Gap (default: false)
#cluster-name = "kubernetes"
#install-dir = "/var/lib/cubectl"
#cert-validity-days = 36500
#debug-mode = false
#closed-network = false
#local-repository-install = false
#local-repository-url = "http://x.x.x.x"

[kubernetes]
## Required
## -
## Optional
## - version: Kubernetes version (default: "latest")
##            If you input only the major version, the minor version automatically selects the last version.
## - container-runtime: use k8s cri (only containerd)
## - kube-proxy-mode: use k8s proxy mode [iptables | ipvs] (default: "ipvs")
## - service-cidr: k8s service network cidr (default: "10.96.0.0/20")
## - pod-cidr: k8s pod network cidr (default: "10.4.0.0/16")
## - node-port-range: k8s node port network range (default: "30000-32767")
## - audit-log-enable: k8s audit log enabled (default: true)
## - api-sans: Add k8s apiserver SAN [--apiserver-cert-extra-sans same as setting] (default: master[0] ip address)
#version = "v1.23.13"
#container-runtime = "containerd"
#kube-proxy-mode = "ipvs"
#service-cidr = "10.96.0.0/20"
#pod-cidr = "10.4.0.0/16"
#node-port-range = "30000-32767"
#audit-log-enable = true
#api-sans = ["x.x.x.x"]

[kubernetes.etcd]
## Required
## - ip: k8s control plane nodes ip address. (Required when selecting the external-etcd="true")
## - private-ip: K8s control plane nodes private ip address. (Required when selecting the external-etcd="true")
##               If you use the same IP address, you can skip it.
## Optional
## - external-etcd: used external etcd than input the ip and private-ip address (default: false)
##                  not used than skip ip address. it is used control plane nodes as automatic.
#external-etcd = false
#ip = ["x.x.x.x"]
#private-ip = ["x.x.x.x"]


[kubernetes.calico]
## Required
## -
## Optional
## - vxlan-mode: calico VXLAN mode activate (default: false)
#vxlan-mode = false

[node-pool]
## Required
## -
## Optional
## - data-dir: data(backup, docker, log, kubelet, etcd, k8s-audit, containerd) root dir (default: "/data")
## - ssh-port: Node ssh port (default: 22)
#data-dir = "/data"
#ssh-port = 22

[node-pool.master]
## Required
## - ip: k8s control plane nodes ip address.
## - private-ip: K8s control plane nodes private ip address.
##               If you use the same IP address, you can skip it.
## Optional
## - lb-ip: load balancer ip address (default: master[0] node ip address)
## - isolated: K8s control plane nodes isolated (default: true)
## - haproxy-install: used internal load-balancer (default: true)
## - lb-ip: Enter the IP address when using a load balancer (default: master[0] ip address)
## - lb-port: Enter the port when using a load balancer (default: 6443)
#ip = ["x.x.x.x","x.x.x.x","x.x.x.x"]
#private-ip = ["x.x.x.x","x.x.x.x","x.x.x.x"]
#isolated = true
#haproxy-install = true
#lb-ip = "x.x.x.x"
#lb-port = 6443

[node-pool.node]
## Required
## - ip: k8s work nodes ip address.
## - private-ip: K8s work nodes private ip address.
##               If you use the same IP address, you can skip it.
## Optional
#ip = ["x.x.x.x", "x.x.x.x"]
#private-ip = ["x.x.x.x", "x.x.x.x"]

[private-registry]
## Required
## - registry-ip: Public IP address of the private registry node.
##                This is a required entry used when installing a private registry.
## - private-ip: Private IP address of the private registry node.
##               This is a required entry used when installing a private registry.
##               If you use the same IP address, you can skip it.
## Optional
## - install: private registry install (default: false)
## - data-dir: private registry data directory (default: "/data/harbor")
## - public-cert: public cert activate (default: false)
## - cocktail-archive-file: Push cocktail addons and image files to the harbor (default:"")
#install = false
#registry-ip = "x.x.x.x"
#private-ip = "x.x.x.x"
#registry-domain = "x.x.x.x"
#data-dir = "/data/harbor"
#public-cert = false
#cocktail-archive-file = ""

[private-registry.cert-file]
## Required
## - ssl-certificate: The certificate path used when using public-cert.
##                    This is a required field used when using a public certificate.
## - ssl-certificate-key: The certificate-key used when using public-cert.
##                        This is a required field used when using a public certificate.
## Optional
#ssl-certificate = ""
#ssl-certificate-key = ""

[shared-storage]
## Required
## - storage-ip: Storage node ip address.
##               This is a required field used when installing the nfs server.
##               (this is using it to generate an inventory and generate an extra vars)
## - private-ip: Storage node ip address.
##               This is a required field used when installing the nfs server.
##               If you use the same IP address, you can skip it.
##               (this is using it to generate an inventory)
## - volume-dir: Storage node data directory. (default: /data/storage)
##               This is a required field used when installing the nfs server.
##               (this is using it to generate an extra vars)
## Optional
## - install: NFS Server Installation (default: false)
#install = false
#storage-ip = "x.x.x.x"
#private-ip = "x.x.x.x"
#volume-dir = "/data/storage"
#nfs_version = "4.1"

-p <ssh key>
- 설치 호스트들의 Passwordless SSH 연결을 위한 Private-Key 입니다.
-u <username>
- 설치 호스트들의 Passwordless SSH 연결을 위한 사용자 계정명입니다.
--kubeconfig <kubeconfig file>
- 업그레이드할 쿠버네티스 클러스터의 kubeconfig 파일입니다.
- Default : ${CUBE_HOME}/config/{{CLUSTER}}/acloud-client-kubeconfig
-a, --auto-approve
- optional
- IP 확인 및 y/n 질의 절차를 생략합니다.
-c, --cluster
- optional
- Cluster 이름을 입력합니다.
-f, --config
- optional
- cubectl.toml 경로를 입력합니다.
--container-runtime
- optional
- 컨테이너 런타임을 지정합니다. podman 또는 docker 중에서 선택할 수 있습니다.
--cube
- optional
- Cube의 버전을 지정합니다.
--port
- optional
- 원격 호스트의 포트를 지정합니다.
-v, --verbose
- optional
- 상세 출력을 활성화합니다.

node-pool

쿠버네티스 노드 관련 속성을 정의합니다.

[node-pool]

노드들의 공통 속성들을 정의합니다.

data-dir

노드별 backup, podman, log, kubelet, etcd, container 데이터 디렉터리입니다.

Type : string
Default : /data
Since : v1.0.0

ssh-port

설치 시 노드에 접속 할 SSH 포트 번호입니다.

Type : integer
Default : 22
Since : v1.0.0

[node-pool.master]

컨트롤 플레인 노드 속성을 정의합니다.

ip

컨트롤 플레인 노드들의 SSH 접속 IP 주소들 입니다.

Type : []string
Default : []
Since : v1.0.0

private-ip

컨트롤 플레인 노드들의 노드 IP입니다.

node-pool.master.ip과 동일할 경우 생략 가능합니다.

Type : []string
Default : []
Since : v1.0.0

isolated

값이 true 면 컨트롤 플레인 노드들에 워크로드가 스케줄링 되지 않도록 taint 처리 합니다.

Type : boolean
Default : true (since v1.2.0)
Since : v1.0.0

lb-ip

컨트롤 플레인 endpoint IP 주소입니다.

Type : string
Default : node-pool.master.private-ip[0]
Since : v1.0.0

lb-port

컨트롤 플레인 endpoint 포트번호입니다.

Type : integer
Default : 6443
Since : v1.0.0

haproxy-install

~~컨트롤 플레인 노드에 haproxy(static-pod)를 설치를 활성화힙니다.~~

~~haproxy는 내부 load balance 역할을 수행합니다.~~

~~Type : boolean~~
~~Default : true~~
Since : v1.0.0 ~ v1.0.1

[node-pool.node]

워커 노드의 속성을 정의합니다.

ip

워커 노드들의 SSH 접속 IP 주소들 입니다.

Type : []string
Default : []
Since : v1.0.0

private-ip

워커 노드들의 노드 IP입니다.

node-pool.node.ip과 동일할 경우 생략 가능합니다.

Type : []string
Default : []
Since : v1.0.0

private-registry

사설 저장소 설치 여부 및 관련 속성을 정의합니다.

CUBE는 사설 저장소로 harbor를 설치합니다.

[private-registry]

install

Harbor 설치를 활성화합니다.

Type : boolean
Default : false
Since : v1.0.0

registry-ip

Harbor 노드의 공개 IP 주소입니다. Harbor를 설치할 때 사용되는 필수 항목입니다.

Type : string
Default : ""
Since : v1.0.0

private-ip

Harbor 노드의 사설 IP 주소입니다. Harbor 설치할 때 사용하는 필수 항목입니다.

registry-ip과 동일한 IP 주소를 사용하는 경우 건너뛸 수 있습니다.

Type : string
Default : ""
Since : v1.0.0

registry-version

~~설치될 Harbor 버전을 지정합니다. Harbor를 설치할 때 사용하는 필수 입력 항목입니다. ~~

~~주 버전만 입력하면 부 버전이 자동으로 마지막 버전을 선택합니다.~~

registry-domain

도메인 주소입니다. 도메인을 사용하는 경우 입력합니다.

Type : string
Default : private-registry.registry-ip
Since : v1.0.0

admin-password

Admin 계정의 비밀번호입니다.

Type : string
Default : 미공개
Since : v1.2.2
참고 - 비밀번호 변경 관련

data-dir

Harbor 데이터 디렉터리 입니다.

Type : string
Default : "/data/harbor"
Since : v1.0.0

public-cert

Harbor 서버 공개 인증을 활성화합니다.

Type : boolean
Default : false
Since : v1.0.0

[private-registry.cert-file]

인증서 파일을 지정합니다.

ssl-certificate

인증서 경로 입니다. 공인 인증을 활성화 했을 경우 필수 입력 항목입니다.

Type : string
Default : ""
Since : v1.0.0

ssl-certificate-key

인증서 키 경로입니다. 공인 인증을 활성화 했을 경우 필수 입력 항목입니다.

Type : string
Default : ""
Since : v1.0.0

워커 노드 추가 및 삭제

Control plane 노드와 worker 노드를 추가/삭제 할 수 있습니다. 모든 추가/삭제는 동시에 진행할 수 있습니다.

주의사항

추가/삭제 작업은 노드 drain 작업이 필수 입니다. drain 작업이 실패하지 않게 사전에 노드 및 pod 설정을 학인해야 합니다.
- affinity, node selector, statefulset 등은 drain 작업시 실패 원인이 될 수 있으니 사전에 확인 및 설정이 필요 합니다.
Control Plane 삭제시 cluster-info 컨피그맵의 server url이 실제 마스터 정보 인지 확인하고 다르면 올바른 마스터 노드 ip로 직접 수정해야 합니다.

Control plane 노드 추가/삭제

Control plane 개별 노드를 추가/삭제 또는 모든 노드를 추가/삭제 할 수 있습니다.

아래 표와 같이 기존의 클러스터는 컨트롤 플레인 노드 1대, 워커 노드 2대가 설치되어있다고 가정합니다.
기존의 클러스터에 Control plane 노드 2대를 추가 방법을 설명합니다.
노드 삭제 역시 노드 추가와 동일한 방식으로 삭제하고 싶은 노드 IP를 cubectl.toml에서 제거합니다.

Node Type

Public ip

Private ip

cubectl config sync 명령을 통해 클러스터 정보를 동기화 합니다. cubectl.toml 파일이 존재한다면 생략 가능합니다.

cubectl update-kubeconfig 명령을 통해 KUBECONFIG 파일을 다운로드 받습니다. acloud-client-kubeconfig 파일이 존재한다면 생략 가능합니다.

cubectl.toml 수정 - 추가할 노드의 IP를 추가로 입력합니다.

cubectl update 실행합니다.

Worker 노드 추가/삭제

아래 표와 같이 기존의 클러스터는 컨트롤 플레인 노드 1대, 워커 노드 2대가 설치되어있다고 가정합니다.
기존의 클러스터에 워커 노드 1대를 추가 방법을 설명합니다.
노드 삭제 역시 노드 추가와 동일한 방식으로 삭제하고 싶은 노드 IP를 cubectl.toml에서 제거합니다.

Node Type

Public ip

Private ip

cubectl config sync 명령을 통해 클러스터 정보를 동기화 합니다. cubectl.toml 파일이 존재한다면 생략 가능합니다.

cubectl update-kubeconfig 명령을 통해 KUBECONFIG 파일을 다운로드 받습니다. acloud-client-kubeconfig 파일이 존재한다면 생략 가능합니다.

cubectl.toml 수정 - 추가할 노드의 IP를 추가로 입력합니다.

cubectl update 실행합니다.

버전 업그레이드

고려사항

네트워크 연결 불안정, 노드 다운, 리소스 부족, 스케줄링 문제 등으로 업그레이드가 실패할 경우가 발생할 수 있으므로 서비스 무중단 운영 중 실시간 업그레이드를 권장하지 않습니다.
업그레이드 전 데이터베이스에 저장된 앱 상태와 같은 중요한 구성 요소를 백업하고 노드들의 스왑을 비활성화 해야 합니다.
여분의 리소스가 충분히 확보 되어야 합니다. 부족한 리소스는 업그레이드 실패의 원인이 될 수 있습니다.
- 업그레이드 수행 전 사전 작업을 통해 충분한 리소스를 확보합니다.
- 최소 노드 수는 Control-plane는 3개이상 Worker 노드는 2개 이상 입니다.
버전 업그레이드는 클러스터를 구성하는 Control-Plane , Worker 노드 순으로 단계별 진행됩니다.
- 이때 업그레이드 대상 노드는 drain을 통해 노드 내의 Pod들은 다른 노드들로 스케줄링 됩니다.
- ReplicationController, ReplicaSet, Job, Daemonset, StatefulSet과 같은 컨트롤러에 의해 실행된 Pod는 다른 노드로 스케줄링 됩니다.
로컬 저장 공간을 사용하는 Pod는 축출되면서 사용하던 데이터를 잃게 되며 PodDisruptionBudgets(PDB) 설정에 의해 축출에 실패하거나 느려질 수 있습니다.
업그레이드가 종료되면 uncordon 을 통해 해당 노드에 대한 스케줄링이 다시 허용 됩니다. 하지만 다른 노드로 배치되었던 Pod가 다시 해당 노드로 스케줄링되지는 않습니다.
컨테이너 해시 값이 변경되기 때문에 업그레이드 후 모든 컨테이너가 다시 시작됩니다.

버전 업그레이드

cubectl config sync 명령을 통해 클러스터 정보를 동기화 합니다.

cubectl update-kubeconfig 명령을 통해 KUBECONFIG 파일을 다운로드 받습니다.

cubectl.toml 파일을 수정합니다.
- [kubernetes] 섹션에서 원하는 쿠버네티스 version을 입력합니다.
- 폐쇄망 설치 환경에서는

cubectl upgrade 명령을 실행합니다.

IP로 설치된 Private-Registry(harbor) 도메인 수동 적용

가정

Private Registry, Control plane, Worker nodes는 Ubuntu20.04 환경에서 구성됩니다.
쿠버네티스 버전은 v1.26 입니다.
이미지 레지스트리 주소를 192.168.77.154 에서 regi.acornsoft.io 로 변경합니다.

도메인

Private Registry 작업

Private Registry IP 변경 및 디렉토리 생성

openssl.conf 파일에 도메인을 추가합니다.

도메인 디렉토리를 생성합니다.

Private Registry 설정 파일 변경

harbor.yml의 hostname을 IP에서 도메인으로 변경합니다.

변경사항 반영

install.sh 스크립트를 실행하여 변경 사항을 적용합니다.

install.sh 스크립트를 실행하는 대신 harbor 환경변수를 수정하고 harbor를 재시작해도 변경사항이 반영됩니다.

Node 작업

공통 작업(Control plane, Worker nodes)

Private Registry IP 변경사항을 node에 반영

/etc/containerd/certs.d에 도메인 디렉토리를 생성한 후, /etc/containerd/certs.d/192.168.77.154/hosts.toml 파일을 복사합니다.

/etc/containerd/certs.d/regi.acornsoft.io/hosts.toml의 IP를 도메인으로 변경합니다.

/etc/containerd/config.toml의 IP를 도메인으로 변경합니다.

containerd를 재시작합니다.

IP 인증서는 더이상 사용하지 않으므로 hosts.toml 파일에서 ca라인을 삭제합니다.

Addon, Coredns, Static Pods 및 기타 yaml파일에 대한 IP 주소를 도메인으로 변경합니다.

패키지 저장소 주소를 도메인으로 변경합니다.

/etc/docker/certs.d/ 에 도메인 디렉토리를 생성합니다.

Control-plane 추가 작업

control-plane 에서는 calico와 metrics server를 업데이트하는 작업을 추가로 해줍니다.

kube-proxy daemonset 이미지 주소를 도메인으로 변경합니다.

coredns deployment 이미지 주소를 도메인으로 변경합니다.

kubelet을 재시작해줍니다.

확인

컨테이너 이미지를 확인합니다. 이미지가 모두 올라오기까지 몇 분 소요될 수 있습니다.

참고: Private Registry IP를 새로운 서버의 IP로 변경하는 경우에는 cubectl update 명령서를 사용하십시오.

cubectl-v1.3.1 ├── archive │ ├── cubectl-image-v1.3.1.tgz │ ├── extend-images.tgz │ ├── local-repo-ubuntu2204-amd64-R250314.tgz │ ├── push │ │ ├── localrepo │ │ └── registry │ │ ├── docker.io_library_busybox:1.37.0.tar │ │ ├── ghcr.io_spiffe_spire-agent:1.9.6.tar │ │ ├── ghcr.io_spiffe_spire-server:1.9.6.tar │ │ ├── quay.io_cilium_certgen:v0.2.1.tar │ │ ├── quay.io_cilium_cilium-envoy:v1.32.5-1744305768-f9ddca7dcd91f7ca25a505560e655c47d3dec2cf.tar │ │ ├── quay.io_cilium_cilium:v1.17.3.tar │ │ ├── quay.io_cilium_clustermesh-apiserver:v1.17.3.tar │ │ ├── quay.io_cilium_hubble-relay:v1.17.3.tar │ │ ├── quay.io_cilium_hubble-ui-backend:v0.13.2.tar │ │ ├── quay.io_cilium_hubble-ui:v0.13.2.tar │ │ ├── quay.io_cilium_operator-alibabacloud:v1.17.3.tar │ │ ├── quay.io_cilium_operator-aws:v1.17.3.tar │ │ ├── quay.io_cilium_operator-azure:v1.17.3.tar │ │ ├── quay.io_cilium_operator-generic:v1.17.3.tar │ │ ├── quay.io_cilium_operator:v1.17.3.tar │ │ └── quay.io_cilium_startup-script:c54c7edeab7fde4da68e59acd319ab24af242c3f.tar ... ├── extends │ └── addon │ ├── charts │ │ ├── cilium-v1.17.3.tgz │ │ ├── csi-driver-nfs-v4.6.0.tgz │ │ ├── csi-driver-nfs-v4.8.0.tgz │ │ ├── csi-driver-nfs-v4.9.0.tgz │ │ ├── gpu-operator-v23.9.0.tgz │ │ ├── gpu-operator-v24.9.0.tgz │ │ └── kore-board-0.5.5.tgz │ ├── images │ │ └── cilium │ │ └── cilium-v1.17.3.tgz │ └── profile │ ├── cilium │ │ ├── default-airgap-clustermesh.yaml │ │ ├── default-airgap.yaml │ │ ├── default-clustermesh.yaml │ │ └── default.yaml │ ├── csi-driver-nfs │ │ └── default.yaml │ ├── gpu-operator │ │ └── default.yaml │ └── kore-board │ └── default.yaml └── LICENSE.txt

$ bin/cubectl push registry -u test -p ~/Desktop/key-list/node-ssh ┌─────────────────┬───────────┬────────────────┬───────────────┬─────────────────────────────────────────────────────────────────────────────────────────────┐ │ KIND │ NODE │ IP │ PRIVATE IP │ PUSH IMAGES │ ├─────────────────┼───────────┼────────────────┼───────────────┼─────────────────────────────────────────────────────────────────────────────────────────────┤ │ Push Repository │ node-regi │ 192.168.88.188 │ 10.50.240.253 │ docker.io_library_busybox:1.37.0.tar │ │ │ │ │ │ ghcr.io_spiffe_spire-agent:1.9.6.tar │ │ │ │ │ │ ghcr.io_spiffe_spire-server:1.9.6.tar │ │ │ │ │ │ quay.io_cilium_certgen:v0.2.1.tar │ │ │ │ │ │ quay.io_cilium_cilium-envoy:v1.32.5-1744305768-f9ddca7dcd91f7ca25a505560e655c47d3dec2cf.tar │ │ │ │ │ │ quay.io_cilium_cilium:v1.17.3.tar │ │ │ │ │ │ quay.io_cilium_clustermesh-apiserver:v1.17.3.tar │ │ │ │ │ │ quay.io_cilium_hubble-relay:v1.17.3.tar │ │ │ │ │ │ quay.io_cilium_hubble-ui-backend:v0.13.2.tar │ │ │ │ │ │ quay.io_cilium_hubble-ui:v0.13.2.tar │ │ │ │ │ │ quay.io_cilium_operator-alibabacloud:v1.17.3.tar │ │ │ │ │ │ quay.io_cilium_operator-aws:v1.17.3.tar │ │ │ │ │ │ quay.io_cilium_operator-azure:v1.17.3.tar │ │ │ │ │ │ quay.io_cilium_operator-generic:v1.17.3.tar │ │ │ │ │ │ quay.io_cilium_operator:v1.17.3.tar │ │ │ │ │ │ quay.io_cilium_startup-script:c54c7edeab7fde4da68e59acd319ab24af242c3f.tar │ └─────────────────┴───────────┴────────────────┴───────────────┴─────────────────────────────────────────────────────────────────────────────────────────────┘

$ bin/cubectl addon list ┌────────────────┬─────────┬────────────┬────────────────────────────┬────────────────────────────────────────┐ │ ADDON NAME │ VERSION │ STATUS │ PROFILE │ VALUES PATH │ ├────────────────┼─────────┼────────────┼────────────────────────────┼────────────────────────────────────────┤ │ cilium │ 1.17.3 │ enabled ✅ │ default-airgap-clustermesh │ cilium/default-airgap-clustermesh.yaml │ │ │ │ │ default-airgap │ cilium/default-airgap.yaml │ │ │ │ │ default-clustermesh │ cilium/default-clustermesh.yaml │ │ │ │ │ │ cilium/default.yaml │ │ csi-driver-nfs │ v4.10.0 │ disabled │ │ csi-driver-nfs/default.yaml │ │ gpu-operator │ v24.9.0 │ disabled │ │ gpu-operator/default.yaml │ │ kore-board │ 0.5.5 │ disabled │ │ kore-board/default.yaml │ └────────────────┴─────────┴────────────┴────────────────────────────┴────────────────────────────────────────┘ Duration 241.054958ms time $ kubectl get pod -A NAMESPACE NAME READY STATUS RESTARTS AGE kube-system cilium-cz8j8 1/1 Running 0 3m3s kube-system cilium-envoy-lqrrk 1/1 Running 0 3m3s kube-system cilium-envoy-z87nh 1/1 Running 0 3m3s kube-system cilium-hfrmw 1/1 Running 0 3m3s kube-system cilium-operator-86d86869fd-444fv 1/1 Running 0 3m3s kube-system cilium-operator-86d86869fd-bn848 1/1 Running 0 3m3s kube-system coredns-7b9dbb4b67-2255m 1/1 Running 0 6m38s kube-system coredns-7b9dbb4b67-vdlkv 1/1 Running 0 6m38s kube-system haproxy-temp-wk-node-1 1/1 Running 0 4m56s kube-system kube-apiserver-temp-cp-node-1 1/1 Running 0 6m39s kube-system kube-controller-manager-temp-cp-node-1 1/1 Running 0 6m39s kube-system kube-proxy-24xsp 1/1 Running 0 4m56s kube-system kube-proxy-bl97s 1/1 Running 0 6m23s kube-system kube-scheduler-temp-cp-node-1 1/1 Running 0 6m39s kube-system metrics-server-5ccf9c5678-rbrc5 1/1 Running 0 6m18s

$ bin/cubectl addon list ┌────────────────┬─────────┬────────────┬─────────┬─────────────────────────────┐ │ ADDON NAME │ VERSION │ STATUS │ PROFILE │ VALUES PATH │ ├────────────────┼─────────┼────────────┼─────────┼─────────────────────────────┤ │ csi-driver-nfs │ v4.8.0 │ enabled ✅ │ │ csi-driver-nfs/default.yaml │ │ gpu-operator │ v23.9.0 │ disabled │ │ gpu-operator/default.yaml │ │ │ │ │ redhat │ gpu-operator/redhat.yaml │ │ │ │ │ ubuntu │ gpu-operator/ubuntu.yaml │ │ kore-board │ 0.5.5 │ disabled │ │ kore-board/default.yaml │ └────────────────┴─────────┴────────────┴─────────┴─────────────────────────────┘ Duration 188.932222ms time $ kubectl get pods -n csi-driver-nfs NAMESPACE NAME READY STATUS RESTARTS AGE IP NODE NOMINATED NODE READINESS GATES csi-driver-nfs csi-nfs-controller-5bbdfbdcc9-5xn6x 4/4 Running 1 (19s ago) 75s 10.10.30.164 wk-node-2 <none> <none> csi-driver-nfs csi-nfs-node-8xpjf 3/3 Running 0 75s 10.10.30.184 cp-node-1 <none> <none> csi-driver-nfs csi-nfs-node-d7kz2 3/3 Running 0 75s 10.10.30.143 cp-node-2 <none> <none> csi-driver-nfs csi-nfs-node-dx6jm 3/3 Running 0 75s 10.10.30.164 wk-node-2 <none> <none> csi-driver-nfs csi-nfs-node-ppcwh 3/3 Running 0 75s 10.10.30.128 wk-node-1 <none> <none> csi-driver-nfs csi-nfs-node-tvrb5 3/3 Running 0 75s 10.10.30.153 cp-node-3 <none> <none> $ kubectl get sc NAME PROVISIONER RECLAIMPOLICY VOLUMEBINDINGMODE ALLOWVOLUMEEXPANSION AGE nfs-csi (default) nfs.csi.k8s.io Delete Immediate false 11m

$ bin/cubectl addon list ┌────────────────┬─────────┬────────────┬─────────┬─────────────────────────────┐ │ ADDON NAME │ VERSION │ STATUS │ PROFILE │ VALUES PATH │ ├────────────────┼─────────┼────────────┼─────────┼─────────────────────────────┤ │ csi-driver-nfs │ v4.8.0 │ disabled │ │ csi-driver-nfs/default.yaml │ │ gpu-operator │ v23.9.0 │ enabled ✅ │ │ gpu-operator/default.yaml │ │ │ │ │ redhat │ gpu-operator/redhat.yaml │ │ │ │ │ ubuntu │ gpu-operator/ubuntu.yaml │ │ kore-board │ 0.5.5 │ disabled │ │ kore-board/default.yaml │ └────────────────┴─────────┴────────────┴─────────┴─────────────────────────────┘ Duration 75.061448ms time $ kubectl get pods -n gpu-operator NAMESPACE NAME READY STATUS RESTARTS AGE IP NODE NOMINATED NODE READINESS GATES gpu-operator gpu-operator-5564789746-rlpzk 1/1 Running 0 65s 10.4.185.65 cp-node-1 <none> <none> gpu-operator gpu-operator-node-feature-discovery-gc-78b479ccc6-ngfnd 1/1 Running 0 65s 10.4.211.67 wk-node-1 <none> <none> gpu-operator gpu-operator-node-feature-discovery-master-569bfcd8bc-5xb8h 1/1 Running 0 65s 10.4.111.193 cp-node-3 <none> <none> gpu-operator gpu-operator-node-feature-discovery-worker-dlxxh 1/1 Running 0 65s 10.4.111.194 cp-node-3 <none> <none> gpu-operator gpu-operator-node-feature-discovery-worker-fmlmb 1/1 Running 0 65s 10.4.185.66 cp-node-1 <none> <none> gpu-operator gpu-operator-node-feature-discovery-worker-gqn8z 1/1 Running 0 65s 10.4.238.68 cp-node-2 <none> <none> gpu-operator gpu-operator-node-feature-discovery-worker-pksh4 1/1 Running 0 65s 10.4.109.2 wk-node-2 <none> <none> gpu-operator gpu-operator-node-feature-discovery-worker-xx6gb 1/1 Running 0 65s 10.4.211.66 wk-node-1 <none> <none>

$ kubectl -n gpu-operator exec -it nvidia-dcgm-exporter-gc6bm bash root@nvidia-dcgm-exporter-gc6bm:/# nvidia-smi Thu Dec 7 06:02:55 2023 +---------------------------------------------------------------------------------------+ | NVIDIA-SMI 535.104.12 Driver Version: 535.104.12 CUDA Version: 12.2 | |-----------------------------------------+----------------------+----------------------+ | GPU Name Persistence-M | Bus-Id Disp.A | Volatile Uncorr. ECC | | Fan Temp Perf Pwr:Usage/Cap | Memory-Usage | GPU-Util Compute M. | | | | MIG M. | |=========================================+======================+======================| | 0 NVIDIA A30 On | 00000000:00:05.0 Off | On | | N/A 63C P0 72W / 165W | N/A | N/A Default | | | | Enabled | +-----------------------------------------+----------------------+----------------------+ +---------------------------------------------------------------------------------------+ | MIG devices: | +------------------+--------------------------------+-----------+-----------------------+ | GPU GI CI MIG | Memory-Usage | Vol| Shared | | ID ID Dev | BAR1-Usage | SM Unc| CE ENC DEC OFA JPG | | | | ECC| | |==================+================================+===========+=======================| | 0 3 0 0 | 12MiB / 5952MiB | 14 0 | 1 0 1 0 0 | | | 0MiB / 8191MiB | | | +------------------+--------------------------------+-----------+-----------------------+ | 0 4 0 1 | 12MiB / 5952MiB | 14 0 | 1 0 1 0 0 | | | 0MiB / 8191MiB | | | +------------------+--------------------------------+-----------+-----------------------+ | 0 5 0 2 | 12MiB / 5952MiB | 14 0 | 1 0 1 0 0 | | | 0MiB / 8191MiB | | | +------------------+--------------------------------+-----------+-----------------------+ | 0 6 0 3 | 12MiB / 5952MiB | 14 0 | 1 0 1 0 0 | | | 0MiB / 8191MiB | | | +------------------+--------------------------------+-----------+-----------------------+ +---------------------------------------------------------------------------------------+ | Processes: | | GPU GI CI PID Type Process name GPU Memory | | ID ID Usage | |=======================================================================================| | No running processes found | +---------------------------------------------------------------------------------------+ root@nvidia-dcgm-exporter-gc6bm:/# nvidia-smi -L GPU 0: NVIDIA A30 (UUID: GPU-79e36614-3f62-d3dd-cdd0-48b00aa446e0) MIG 1g.6gb Device 0: (UUID: MIG-39f52290-ccf4-5e32-b8b8-cc1877a32051) MIG 1g.6gb Device 1: (UUID: MIG-dbf3834e-128b-5965-88b7-2e3d2fe5a0aa) MIG 1g.6gb Device 2: (UUID: MIG-c735f798-c9d5-5c0e-972c-e0bc6cdb05e7) MIG 1g.6gb Device 3: (UUID: MIG-233d355f-f84e-530d-8526-797b5a867669)

$ ./bin/cubectl-test push registry -u test -p ./config/sshkey ┌─────────────────┬───────────┬────────────┬────────────┬──────────────────────────────────────────────────────────────────────────────────────────────┐ │ KIND │ NODE │ IP │ PRIVATE IP │ PUSH IMAGES │ ├─────────────────┼───────────┼────────────┼────────────┼──────────────────────────────────────────────────────────────────────────────────────────────┤ │ Push Repository │ node-regi │ 10.10.0.49 │ 10.10.0.49 │ docker.io_bitnami_kubectl:1.30.4.tar │ │ │ │ │ │ docker.io_filebrowser_filebrowser:v2.25.0.tar │ │ │ │ │ │ gcr.io_knative-releases_knative.dev_eventing_cmd_in|memory_channel|controller:v1.16.4.tar │ │ │ │ │ │ gcr.io_knative-releases_knative.dev_eventing_cmd_in|memory_channel|dispatcher:v1.16.4.tar │ ... │ │ │ │ │ quay.io_jetstack_cert-manager-controller:v1.16.1.tar │ │ │ │ │ │ quay.io_jetstack_cert-manager-webhook:v1.16.1.tar │ │ │ │ │ │ quay.io_kuberay_operator:v1.3.2.tar │ │ │ │ │ │ quay.io_oauth2-proxy_oauth2-proxy:latest.tar │ │ │ │ │ │ quay.io_oauth2-proxy_oauth2-proxy:v7.7.1.tar │ └─────────────────┴───────────┴────────────┴────────────┴──────────────────────────────────────────────────────────────────────────────────────────────┘ Is this ok [Y/n]:

CUBE

Overview

CUBE

Getting Started

hashtagPreparation

hashtagGetting Started

hashtagdownload

hashtagCreate a cluster

hashtagConnect to your cluster

hashtagDestroy a cluster

Infrastructure Specifications

hashtagResource Specifications

hashtagMinimum resource requirements (For Kubernetes only)

hashtagMinimum resource requirements (For Installation of Cocktail)

hashtagRecommended resource requirements (For Installation of Cocktail)

hashtagFirewall Settings

hashtagSudoers Table

hashtagRunning cubectl

Download CUBE

hashtagCUBE 다운로드

Supported Versions

hashtagNode

Release

hashtagLatest History

hashtagv1.3.4

Reference

cubectl

hashtag개요

hashtag구조

hashtag목차

create

hashtagcreate

hashtagparameters

hashtagexamples

destroy

hashtagdestroy

update

hashtagupdate

hashtagparameters

hashtagexamples

update-kubeconfig

hashtagupdate-kubeconfig

hashtagparameters

hashtagexamples

upgrade

hashtagupgrade

config

hashtagconfig new

addon

hashtagaddon list

cubectl.toml

hashtag구조

cubectl

hashtag[cubectl]

hashtagcluster-name

hashtagcert_validity_days

hashtaginstall-dir

hashtagclosed-network

hashtaglocal-repository-install

hashtaglocal-repository-url

hashtaglocal-repository-port

kubernetes

hashtag[kubernetes]

hashtagversion

Console

Tutorial

Getting Started

hashtagPreparation

hashtagGetting Started

hashtagdownload

hashtagCreate a cluster

hashtagConnect to your cluster

hashtagDestroy a cluster

update

hashtagupdate

hashtagparameters

hashtagexamples

Download CUBE

hashtagCUBE 다운로드

Release

Preparation

Getting Started

download

Create a cluster

Connect to your cluster

Destroy a cluster

Resource Specifications

Minimum resource requirements (For Kubernetes only)

Minimum resource requirements (For Installation of Cocktail)

Recommended resource requirements (For Installation of Cocktail)

Firewall Settings

Sudoers Table

Running `cubectl`

CUBE 다운로드

Node

Latest History

v1.3.4

개요

구조

목차

`create`

parameters

examples

`destroy`

`update`

parameters

examples

`update-kubeconfig`

parameters

examples

`upgrade`

`config new`

`addon list`

구조

[cubectl]

cluster-name

cert_validity_days

install-dir

closed-network

local-repository-install

local-repository-url

local-repository-port

[kubernetes]

version

Preparation

Getting Started

download

Create a cluster

Connect to your cluster

Destroy a cluster

`update`

parameters

examples

CUBE 다운로드

Latest History

v1.3.4

Node

[cubectl]

cluster-name

cert_validity_days

install-dir

closed-network

local-repository-install

local-repository-url

local-repository-port

환경 변수

예제

패키지 디렉토리 구조

칵테일 다운로드

환경 변수

예제

v1.3.3

v1.3.2 (hotfix)

Upcoming Release

Release History

v1.3.1

v1.3.0 (hotfix)

v1.2.4

v1.2.3 (hotfix)

v1.2.2