Troubleshooting

로그서비스를 설치 및 운용할 때 자주 일어나는 문제에 대한 해결방법입니다. 이외에 추가적으로 발생하는 문제가 생길 시 문의 바랍니다.

Cocktail Log Service

설치시 로그서비스의 마스터/데이터 노드들이 정상적으로 시작하지 않을때

ERROR: [1] bootstrap checks failed [1]: max virtual memory areas vm.max_map_count [65530] is too low, increase to at least [262144]

다음과 같은 오류는 bootstrap을 체크하는 과정에서 max_map_count값이 262,144이하면 안정성을 위해 실행되지 않도록 되어있기 때문입니다.

따라서 해당 노드에 접속하여 다음과 같은 명령어 입력 후 재시작

/$ vi /etc/sysctl.conf

# 작성
vm.max_map_count=262144

# 적용
/$ sysctl -p

로그 서비스 설치 시 PVC 생성에서 멈추어 있는 경우

pod had unbound immediate PersistentVolumeClaims 이벤트에서 멈춤

쿠버네티스가 PVC를 생성 하지 못하여 설치가 진행되지 않는 경우 입니다. 설치 옵션에서 persistence 영역의 storageClass 이름이 정확한지 확인 해 주세요. 이름을 맞게 변경하고 재설치를 수행합니다.

cocktail-logs-api 의 CrashLoopBackOff 오류

config-watcher 컨테이너의 로그 config apiUrl is empty

칵테일 환경 변수 누락입니다. 칵테일에 Gateway 설치 여부 확인 후 칵테일 관리자에게 Cocktail Gateway URL 환경변수 등록 요청을 해야 합니다.

Cocktail Log Agent

log-agent 파드의 초기화 실패 메시지 (Init: Signal: null)

Init:Signal:null 상태

설치된 애드온 인스턴스의 상태가 Init:Signal:null 인 경우, 칵테일 환경 변수 선언이 정상적이지 않아 실패하는 경우입니다. 파드의 초기화 컨테이너 로그와 함께 칵테일 관리자에게 환경 변수 설정을 요청 합니다.

# 파드의 초기화 컨테이너(config-pull)의 로그를 출력 합니다. 
kubectl -n cocktail-addon logs [POD FULL NAME] -c config-pull

Application Log

fluent-bit 컨테이너가 제대로 작동하지 않을때

[error] could not open configuration file, aborting.

해당 로그는 fluent-bit 설정파일 마운트 정보가 다르기때문에 일어난 오류입니다.

설정파일 이름과 위치를 잘 확인하시고 배포해주시길 바랍니다.