Release

Kubeflow 지원

UI provider별 개요 기능

Gpu-operator image prepare 과정 추가

서버 이전으로 인한 이미지 명 변경(registry.k3.acornsoft.io/cube/cube:tag)

Bugfixes

• Upgrade 시도 시 의도치 않은 playbook 실행 문제 수정

• Online 환경 containerd 설치 문제 수정

Enhancements

• UI package version upgrade

Documentations

• Kubeflow 설치 문서

Console - Provider(Openstack) 조회 기능

Console cluster template 생성 기능

Harbor trivy DB 최신화

Bugfixes

• API fetch 중 overlay가 정상적으로 동작하지 않던 문제 수정

• API에서 작동하지 않던 조건 문제 수정

• Template을 이용해서 Control Plane 설정 복사 시 모든 항목이 동일 적용되던 문제 수정

• DB에 저장된 정보와 실제 클러스터의 정합성 유지

• SSH 반복 접속 횟수 조정

Enhancements

• Docker CSAP 관련 Harbor 로직 변경

Refactoring

• Add control plane node 로직 변경

Documentations

• REST-API 문서 업데이트

REST-API sync 요청 시 데이터베이스 저장 못하는 오류

Enhancements

• console card 컴포넌트 toggle 기능 제공

• console 클러스터 보기화면 kubeconfig download 기능 제공 외

Refactoring

• console 변수형식 개선, enum → const

• console 에러 및 이미지 파일 소스 위치 변경

Documentations

• REST-API 문서 업데이트

• kubelet root 디렉토리 변경 방법 사용자 메뉴얼

• Cilium CNI addon 설치 사용자 메뉴얼

클러스터 보안 취약점 개선 (CIS-Benchmark, 92.4%)

ARM CPU 아키텍처 지원 개선

Oracle 9 리눅스 배포판 지원

cis-driver-nsf 4.10.10 버전 업

컴포넌트 버전 업

• containerd : v1.6.28 → v1.7.24

• etcd : v3.5.7 → v3.5.17

• helm : v3.10.3 → v3.16.4

• docker-compose : v2.24.5 → v2.32.0

• regctl : v0.7.1 → v0.8.0

컨테이너 이미지 버전 업

• calico : v3.28.0 → v3.29.1

• haproxy : 2.9.4 → 3.1.1

• nginx : 1.25.3 → 1.27.3

• nfsplugin : [v4.6.0, v4.8.0] → [v4.6.0, v4.8.0, v4.9.0]

• csi-provisioner : v4.0.0 → v5.0.2

• csi-snapshotter : v6.3.3 → v8.0.1

• csi-node-driver-registrar : v2.10.0 → v2.11.1

• livenessprobe : v2.12.0 → v2.13.1

• snapshot-controller : v6.3.3 → v8.0.1

cubectl push 명령어 - 리눅스 패키지 및 이미지 업로드

cubectl destroy localrepo 명령어

애드온 버전 선택 설치 기능

Kubernetes v1.31 지원

GPU operator v24.9.0 지원

컴포넌트 버전 업

• metrics-server v0.7.2

• nfsplugin v4.8.0

Bugfixes

• 온라인 설치 시 redhat 계열 설치 안되는 현상

• audit-log를 false 일 경우 클러스터 생성 실패 오류

• 클러스터 boolean 타입 설치 옵션 default 값 지정 오류

• 동일 호스트 대상으로 폐쇄망으로 설치 후 온라인 재설치 안되는 현상

• redhat8, redhat7 멀티 설치 및 iptables 관련 오류

• 실행 런타임 오류 발생 후 ERROR[0007] 디스플레이되고 끝나는 현상

• registry, repository 인벤토리 잘못 지정되는 현상

• upgrade 명령 실행 시 cubectl.toml 에 private-registry ip, private_ip 둘다 기입했을 경우 설치 실패하는 현상

• control-plane 노드 추가 안되는 현상

Improvement

• 기본제공 'cubectl.toml` 누락 옵션 반영

• kubelet extra-args 옵션 map 방식으로 처리

• 실행 Timeout 을 90분으로 증가, 단일 Task timeout 은 20분에서 60분으로 변경

• 패키지 다운로드 시 "VERSION" 을 입력하지 않을 경우 alpha, beta 버전이 다운로드 되는 현상 개선

• metrics-server control-plane 노드에 설치

• destroy, upgrade, update-kubeconfig 명령 node annotation 반영

Enhancement

• cubectl.toml 로컬 레파지토리 섹션 추가, private-registry 섹션과 분리

• CUBE API 데이터베이스 sqlite 적용 및 기타 기능 향상

• "private-key" Flag 필수 체크

Control-Plane 스케일 인/아웃 기능

Kubernetes v1.30 및 패치버전 추가 지원: v1.30.4, v1.29.8, v.28.13, v1.27.16

Bugfixes

• 버전 업그레이드 시 calico vxlan 모드인 경우 워크로드간 통신하지 못하는 현상, always 옵션 적용

• 온라인 설치 시 centos9에서 local repository 설정 누락 오류

• 클러스터 이름이 적용되지 않는 현상

• nfs-utils 패키지 설치 시 종속성 문제 - allowerasing 옵션 추가

• 멀티 클러스터에서 이미지 레지스트리 공유할 경우 인증서 다운로드 URL 가져오지 못하는 문제

• 설치옵션(extravars.cube) boolean type default 값 지정 오류

• 폐쇄망 설치 시 CentOS7 노드에서 패키지들 간 의존성 에러 발생 문제

• 폐쇄망 환경에서 podman archive 파일 찾지 못해 CUBECTL 실행하지 못하는 현상

Improvement

• CUBE 다운로드 서비스 개선 및 도메인 이슈

• 리눅스 Local Repository 지원 종료 및 URL 변경이슈 개선 - CentOS 8(stream), CentOS 7, RHEL 7

• 이미지 레지스트리 도메인과 IP간 변경 기능

• 이미지 레지스트리 admin 비밀번호 옵션 적용

• 워커노드 haproxy 헬스체크 포트 "8081" 에서 "8054"로 변경

• 온라인 모드로 설치한 클러스터를 페쇄망 환경으로 전환가능하도록 개선

Enhancement

• 버전이 지정되지 않은 CUBECTL 인 경우 CUBE 이미지를 항상 최신 버전(latest) 을 pull 하도록 개선

• CUBECTL 로그 개선

calico vxlan mode default-value값 CrossSubnet 에서 Always 로 변경

addon data-dir 파라미터 제거하고 values 파일에 default-value 지정

폐쇄망에서 storage server 설치되지 않는 현상

멀티 클러스터 프로비저닝 기능

cubectl 실행 환경(Container Runtime) 추가 지원 (podman (default), docker, containerd)

사설 레지스트리(harbor) IP 변경 기능

Enhancement/Improvement

• Default pod cird 수정 (10.4.0.0/16)

• calico, metrics-server 컴포넌트 버전업

• Addons 별 차트 버전관리 방식 개선

Refactoring

• 멀티 클러스터 설치를 위한 구조 개선

Bugfixes

• v1.0.x 로 설치 클러스터 업그레이드 시 누락된 Image 추가

• 폐쇄망 Centos8 노드 설치 오류

• Storage 서버 패키지 설치 오류

Enhancement

• 폐쇄망 설치 리눅스 패키지 종속성 관리 방식 개선

• Harbor HTTP 서비스 포트 8081번으로 변경

Improvement

• Addons 별 차트 버전관리 방식 개선

Refactoring

• Duplicate 코드 개선

• 폐쇄망 container image archive 파일 업로드 개선

Documentation

• Image Registry IP 또는 도메인 변경 매뉴얼 제공

Enhancement

• addon.toml "values_file" 개선

lbip를 입력해도 masterip가 lbip로 입력되는 오류

Improvement

• Terraform/Openstack 기반 CI 파이프라인을 통한 테스트 자동화 반영

폐쇄망 패키지 다운로드 오류

Enhancement

• 폐쇄망 설치 시 파일 유효성 체크 개선

• K8S 패치 버전까지 지정해서 폐쇄망 패키지 파일 다운로드 가능하도록 개선

Refactoring

• K8S 패치 버전까지 폐쇄망 패키지 파일 세분화

칵테일 다운로드 URL (https://cube.k3.acornsoft.io/download-cocktail) 제공

Bugfixes

• 노드별로 다른 python 명령어 위치로 인해 발생하는 mitogen tool disable 오류

• 온라인 환경에서 사설 저장소만 설치할 경우 설치 오류

• destroy 시 이전 network-cni 설정 정보 유지되는 현상

• Cluster Configuration endpoint를 lb-ip로 지정하여 노드 join 안되는 현상

• 구버전의 cubectl로 설치한 클러스터가 v1.0.0 버전으로 업그레이드 안되는 오류

• 워커 노드수를 축소해서 업데이트 했을 경우 오류 메시지 출력 현상

• 워커 노드수를 0개에서 1개이상 증가 시킨후 update 실행 시 오류

• update 실행 시 신규 노드 경우 label 누락되는 현상

• 클러스터 프로비저닝 이후 추가된 노드에 대한 업그레이드 오류

Improvement

• etcd secret control-plane 노드에서 중복으로 생성되는 현상 개선

• api-server 인증서에 첫번째 컨트롤플랜 노드 ip가 포함되는 현상 개선

• Harbor 인증서 생성 방식 개선

• 폐쇄망 설치용 archive tar 파일 개선 및 버전 세분화

Enhancement

• GPU노드를 위한 nvidia 관련 패키지 추가

• calico v3.26 업그레이드

• 에드온 cis-driver-nfs 업그레이드

Refactoring

• 사용하지 않는 cubectl.toml 정리

• mitogen-v0.2.9(extends ansible tools) 제거