1 of 7

cubectl.toml

cubectl.toml 은 클러스터를 설치하고 업데이트기 위한 기본 설정 정보 파일입니다.

"cubectl config new" 명령으로 template 파일을 생성할 수 있습니다.

$ bin/cubectl config new

# cat config/cubectl.toml

구조

cubectl.toml 의 설정 구조는 아래와 같습니다.

cubectl.toml/
├── cubectl
│   ├── cluster-name
│   ├── cubectl.cert_validity_days
│   ├── install-dir
│   ├── closed-network
│   ├── local-repository-install
│   └── local-repository-url
├── kubernetes
│   ├── version
│   ├── kube-proxy-mode
│   ├── service-cidr
│   ├── pod-cidr
│   ├── node-port-range
│   ├── audit-log-enable
│   ├── api-sans
│   └── calico
│       └── vxlan-mode
├── node-pool
│   ├── data-dir
│   ├── ssh-port
│   ├── master
│   │   ├── ip
│   │   ├── private-ip
│   │   ├── haproxy-install
│   │   ├── lb-ip
│   │   └── lb-port
│   └── node
│       ├── ip
│       └── private-ip
├── private-registry
│   ├── install
│   ├── registry-ip
│   ├── private-ip
│   ├── registry-domain
│   ├── data-dir
│   ├── public-cert
│   └── cert-file
│       ├── ssl-certificate
│       └── ssl-certificate-key
└── shared-storage
    ├── install
    ├── storage-ip
    ├── private-ip
    └── volume-dir

cubectl : cubectl 실행 환경을 정의합니다.
kubernetes : 쿠버네티스 관련 속성을 정의합니다.
node-pool : 노드 IP와 같은 노드관련 속성을 정의합니다.
local-repository : local repository 설치 여부 및 관련 속성을 정의합니다.
private-registry : 사설 저장소 설치 여부 및 관련 속성을 정의합니다.
shared-storage : 스토리지 서버(Network File System) 설치 여부 및 관련 속성을 정의합니다.

cubectl

cubectl 실행 환경을 정의합니다.

cubectl
├── cluster-name
├── cert_validity_days
├── install-dir
├── closed-network
├── local-repository-install
└── local-repository-url

[cubectl]

cluster-name

설치되는 쿠버네티스 클러스터의 이름입니다.

Type : string
Default : kubernetes
Since : v1.0.0

cert_validity_days

인증서 만료기간 입니다.

Type : integer
Default : 36500 (100년)
Since : v1.0.0

install-dir

노드별 CUBECTL 설치 스크립트 (harbor, shell scripts) 저장 디렉토리입니다.

Type : string
Default : "/var/lib/cubectl"
Since : v1.0.0

closed-network

폐쇄망 설치 여부를 선택합니다.

폐쇄망 설치일 경우 :./archive 디렉토리에 설치 압축파일들이 반드시 존재해야 합니다.

Type : boolean
Default : false
Since : v1.0.0

local-repository-install

리눅스 로컬 저장소 설치를 활성화 합니다.

폐쇄망 설치 시는 true 로 지정해야 하고 {CUBE_HOME}/archive/runtime 디렉토리에 harbor-offline-installer-{VERSION}-linux-{ARCH}.tgz 파일이 존재해야 합니다.

멀티 OS로 클러스터를 구성할 경우 Ubuntu 20.04는 지원하지 않습니다.

Type : boolean
Default : -
Since : v1.0.0

local-repository-url

리눅스 로컬 저장소의 서비스의 URL입니다.

지정하지 않을 경우 사설 저장소의 IP address 가 자동 지정됩니다.

Type : string
Default : "http://{{ registry-ip }}:8080"
Since : v1.0.0

local-repository-port

deprecated v1.2.0

~~리눅스 로컬 저장소의 서비스 포트번호 입니다.~~

kubernetes

쿠버네티스와 관련된 속성을 정의합니다.

kubernetes
├── version
├── kube-proxy-mode
├── service-cidr
├── pod-cidr
├── node-port-range
├── audit-log-enable
├── api-sans
└── calico
    └── vxlan-mode

[kubernetes]

version

쿠버네티스 버전입니다.

버전별 지원 현황은 릴리즈노트를 참고합니다.

Type : string
Default : latest
Since : v1.0.0

kube-proxy-mode

쿠버네티스 프록시 모드입니다.

Type : string
Default : "ipvs"
Ranges: ["ipvs" | "iptables"]
Since : v1.0.0

service-cidr

Service CIDR 입니다.

Type : string
Default : "10.96.0.0/20"
Since : v1.0.0

pod-cidr

Pod CIDR 입니다.

Type : string
Default : "10.4.0.0/16"
Since : v1.0.0

node-port-range

노드 포트 범위입니다.

Type : string
Default : "30000-32767"
Since : v1.0.0

audit-log-enable

쿠버네티스 audit 로그를 활성화합니다.

로그는 {{node-pool.data-dir}}/k8s-audit/kubernetes-audit.log 에서 확인할 수 있습니다.

Type : boolean
Default : true
Since : v1.0.0

api-sans

apiserver SAN을 추가합니다. --apiserver-cert-extra-sans 설정과 동일합니다.

version : v0.1.0
Type : []string
Default : 첫번째 컨트롤 플레인 노드 IP
Since : v1.0.0

[kubernetes.calico]

Calico-cni를 설정합니다.

CUBE는 기본적으로 calico ipip 모드로 설치됩니다.

vxlan-mode

Calico VXLAN 모드를 활성화합니다. vxlan모드는 UDP 4789 포트를 사용합니다.

Type : boolean
Default : false
Since : v1.0.0

node-pool

쿠버네티스 노드 관련 속성을 정의합니다.

node-pool
├── data-dir
├── ssh-port
├── master
│   ├── ip
│   ├── private-ip
│   ├── lb-ip
│   └── lb-port
└── node
    ├── ip
    └── private-ip

[node-pool]

노드들의 공통 속성들을 정의합니다.

data-dir

노드별 backup, podman, log, kubelet, etcd, container 데이터 디렉터리입니다.

Type : string
Default : /data
Since : v1.0.0

/data/
├── backup
│   ├── cluster
│   ├── db
│   └── registry
├── containerd      : containerd's persistent data location
├── etcd            : etcd data location
│   └── member
├── k8s-audit       : apiserver audit logs
├── kubelet         : kubelet root-dir
└── log

ssh-port

설치 시 노드에 접속 할 SSH 포트 번호입니다.

Type : integer
Default : 22
Since : v1.0.0

[node-pool.master]

컨트롤 플레인 노드 속성을 정의합니다.

ip

컨트롤 플레인 노드들의 SSH 접속 IP 주소들 입니다.

Type : []string
Default : []
Since : v1.0.0

private-ip

컨트롤 플레인 노드들의 노드 IP입니다.

node-pool.master.ip과 동일할 경우 생략 가능합니다.

Type : []string
Default : []
Since : v1.0.0

isolated

값이 true 면 컨트롤 플레인 노드들에 워크로드가 스케줄링 되지 않도록 taint 처리 합니다.

Type : boolean
Default : true (since v1.2.0)
Since : v1.0.0

lb-ip

컨트롤 플레인 endpoint IP 주소입니다.

Type : string
Default : node-pool.master.private-ip[0]
Since : v1.0.0

lb-port

컨트롤 플레인 endpoint 포트번호입니다.

Type : integer
Default : 6443
Since : v1.0.0

haproxy-install

~~컨트롤 플레인 노드에 haproxy(static-pod)를 설치를 활성화힙니다.~~

~~haproxy는 내부 load balance 역할을 수행합니다.~~

~~Type : boolean~~
~~Default : true~~
Since : v1.0.0 ~ v1.0.1

[node-pool.node]

워커 노드의 속성을 정의합니다.

ip

워커 노드들의 SSH 접속 IP 주소들 입니다.

Type : []string
Default : []
Since : v1.0.0

private-ip

워커 노드들의 노드 IP입니다.

node-pool.node.ip과 동일할 경우 생략 가능합니다.

Type : []string
Default : []
Since : v1.0.0

local-repository

local-repository
├── install
├── ip
├── private-ip
├── service-port
└── data-dir

[local-repository]

install

local repository 설치를 활성화합니다.

Type : boolean
Default : false
Since : v1.2.4

ip

local repository 노드의 공개 IP 주소입니다. local repository를 설치할 때 사용되는 필수 항목입니다.

Type : string
Default : ""
Since : v1.2.4

private-ip

local repository 노드의 사설 IP 주소입니다. local repository 설치할 때 사용하는 필수 항목입니다.

ip과 동일한 IP 주소를 사용하는 경우 건너뛸 수 있습니다.

Type : string
Default : ""
Since : v1.2.4

service-port

local repository 노드의 서비스 포트 입니다.

Type : int
Default : 8080
Since : v1.2.4

data-dir

local repository 노드가 설치되는 경로입니다.

Type : string
Default : "/data/localrepo"
Since : v1.2.4

private-registry

사설 저장소 설치 여부 및 관련 속성을 정의합니다.

CUBE는 사설 저장소로 harbor를 설치합니다.

private-registry
├── install
├── registry-ip
├── private-ip
├── registry-domain
├── admin-password
├── data-dir
├── public-cert
└── cert-file
    ├── ssl-certificate
    └── ssl-certificate-key

[private-registry]

install

Harbor 설치를 활성화합니다.

Type : boolean
Default : false
Since : v1.0.0

registry-ip

Harbor 노드의 공개 IP 주소입니다. Harbor를 설치할 때 사용되는 필수 항목입니다.

Type : string
Default : ""
Since : v1.0.0

private-ip

Harbor 노드의 사설 IP 주소입니다. Harbor 설치할 때 사용하는 필수 항목입니다.

registry-ip과 동일한 IP 주소를 사용하는 경우 건너뛸 수 있습니다.

Type : string
Default : ""
Since : v1.0.0

registry-version

since v1.0.0 (deprecated v1.2.0)

~~설치될 Harbor 버전을 지정합니다. Harbor를 설치할 때 사용하는 필수 입력 항목입니다. ~~

~~주 버전만 입력하면 부 버전이 자동으로 마지막 버전을 선택합니다.~~

registry-domain

도메인 주소입니다. 도메인을 사용하는 경우 입력합니다.

Type : string
Default : private-registry.registry-ip
Since : v1.0.0
참고 - 칵테일 사용 시 도메인 사용 권장합니다.
- Harbor 를 IP 로 설치했을 경우 향후 IP 변동 되었다면 칵테일 연동에 있어 다음과 같은 추가 작업이 필요합니다.
  - 기존 Harbor 주소로 배포 되어 있는 이미지 주소를 변경IP 주소로 재 배포 작업.
  - 칵테일 내부 설정 값 패치 작업 ( Harbor 연동 하는 API Server, Package, Addon Manager IP, 인증서 )
  - 칵테일 Addon 재 설치 Database Migration 작업 ( 빌드 관련 정보 , 이미지 Pull Secret 등)
- Harbor 를 새로 설치할 경우 Harbor 접속 정보 관련해서 이중으로 암호화 되어 있어 복구 및 Migration 작업 필요합니다.

admin-password

Admin 계정의 비밀번호입니다.

Type : string
Default : 미공개
Since : v1.2.2
참고 - 비밀번호 변경 관련
- Harbor의 비밀번호는 UI에서 변경해야합니다.
  - install.sh로 변경 시 DB 관련하여 문제가 생깁니다.
- Harbor 비밀번호 변경 후 반드시 해당 옵션의 값을 일치시켜야 합니다.

data-dir

Harbor 데이터 디렉터리 입니다.

Type : string
Default : "/data/harbor"
Since : v1.0.0

public-cert

Harbor 서버 공개 인증을 활성화합니다.

Type : boolean
Default : false
Since : v1.0.0

[private-registry.cert-file]

인증서 파일을 지정합니다.

ssl-certificate

인증서 경로 입니다. 공인 인증을 활성화 했을 경우 필수 입력 항목입니다.

Type : string
Default : ""
Since : v1.0.0

ssl-certificate-key

인증서 키 경로입니다. 공인 인증을 활성화 했을 경우 필수 입력 항목입니다.

Type : string
Default : ""
Since : v1.0.0

shared-storage

스토리지 서버 설치 여부 및 관련 속성을 정의합니다.

CUBE는 스토리지 서버로 NFS(Network File System)를 설치합니다.

shared-storage
├── install
├── storage-ip
├── private-ip
└── volume-dir

[shared-storage]

install

NFS 설치를 활성화 합니다.

Type : boolean
Default : false
Since : v1.0.0

storage-ip

NFS IP 주소입니다.

설치할 때 사용되는 필수 입력 항목입니다.

Type : string
Default : ""
Since : v1.0.0

private-ip

NFS IP 주소입니다.

설치할 때 사용되는 필수 입력 항목입니다.

shared-storage.storage-ip 과 동일한 IP 주소를 사용하는 경우 건너뛸 수 있습니다.

Type : string
Default : ""
Since : v1.0.0

volume-dir

NFS 데이터 디렉토리입니다.

설치할 때 사용되는 필수 입력 항목입니다.

Type : string
Default : "/data/storage"
Since : v1.0.0

private-registry

사설 저장소 설치 여부 및 관련 속성을 정의합니다.

CUBE는 사설 저장소로 harbor를 설치합니다.

private-registry
├── install
├── registry-ip
├── private-ip
├── registry-domain
├── admin-password
├── data-dir
├── public-cert
└── cert-file
    ├── ssl-certificate
    └── ssl-certificate-key

[private-registry]

install

Harbor 설치를 활성화합니다.

Type : boolean
Default : false
Since : v1.0.0

registry-ip

Harbor 노드의 공개 IP 주소입니다. Harbor를 설치할 때 사용되는 필수 항목입니다.

Type : string
Default : ""
Since : v1.0.0

private-ip

Harbor 노드의 사설 IP 주소입니다. Harbor 설치할 때 사용하는 필수 항목입니다.

registry-ip과 동일한 IP 주소를 사용하는 경우 건너뛸 수 있습니다.

Type : string
Default : ""
Since : v1.0.0

registry-version

since v1.0.0 (deprecated v1.2.0)

~~설치될 Harbor 버전을 지정합니다. Harbor를 설치할 때 사용하는 필수 입력 항목입니다. ~~

~~주 버전만 입력하면 부 버전이 자동으로 마지막 버전을 선택합니다.~~

registry-domain

도메인 주소입니다. 도메인을 사용하는 경우 입력합니다.

Type : string
Default : private-registry.registry-ip
Since : v1.0.0
참고 - 칵테일 사용 시 도메인 사용 권장합니다.
- Harbor 를 IP 로 설치했을 경우 향후 IP 변동 되었다면 칵테일 연동에 있어 다음과 같은 추가 작업이 필요합니다.
  - 기존 Harbor 주소로 배포 되어 있는 이미지 주소를 변경IP 주소로 재 배포 작업.
  - 칵테일 내부 설정 값 패치 작업 ( Harbor 연동 하는 API Server, Package, Addon Manager IP, 인증서 )
  - 칵테일 Addon 재 설치 Database Migration 작업 ( 빌드 관련 정보 , 이미지 Pull Secret 등)
- Harbor 를 새로 설치할 경우 Harbor 접속 정보 관련해서 이중으로 암호화 되어 있어 복구 및 Migration 작업 필요합니다.

admin-password

Admin 계정의 비밀번호입니다.

Type : string
Default : 미공개
Since : v1.2.2
참고 - 비밀번호 변경 관련
- Harbor의 비밀번호는 UI에서 변경해야합니다.
  - install.sh로 변경 시 DB 관련하여 문제가 생깁니다.
- Harbor 비밀번호 변경 후 반드시 해당 옵션의 값을 일치시켜야 합니다.

data-dir

Harbor 데이터 디렉터리 입니다.

Type : string
Default : "/data/harbor"
Since : v1.0.0

public-cert

Harbor 서버 공개 인증을 활성화합니다.

Type : boolean
Default : false
Since : v1.0.0

[private-registry.cert-file]

인증서 파일을 지정합니다.

ssl-certificate

인증서 경로 입니다. 공인 인증을 활성화 했을 경우 필수 입력 항목입니다.

Type : string
Default : ""
Since : v1.0.0

ssl-certificate-key

인증서 키 경로입니다. 공인 인증을 활성화 했을 경우 필수 입력 항목입니다.

Type : string
Default : ""
Since : v1.0.0

cubectl.toml

구조

목차

cubectl

[cubectl]

cluster-name

cert_validity_days

install-dir

closed-network

local-repository-install

local-repository-url

local-repository-port

kubernetes

[kubernetes]

version

kube-proxy-mode

service-cidr

pod-cidr

node-port-range

audit-log-enable

api-sans

[kubernetes.calico]

vxlan-mode

node-pool

[node-pool]

data-dir

ssh-port

[node-pool.master]

ip

private-ip

isolated

lb-ip

lb-port

haproxy-install

[node-pool.node]

ip

private-ip

local-repository

[local-repository]

install

ip

private-ip

service-port

data-dir

private-registry

[private-registry]

install

registry-ip

private-ip

registry-version

registry-domain

admin-password

data-dir

public-cert

[private-registry.cert-file]

ssl-certificate

ssl-certificate-key

shared-storage

[shared-storage]

install

storage-ip

private-ip

volume-dir

cubectl

[cubectl]

cluster-name

cert_validity_days

install-dir

closed-network

local-repository-install

local-repository-url

local-repository-port

node-pool

[node-pool]

data-dir

ssh-port

[node-pool.master]

ip

private-ip

isolated