과제서버(GAM)의 /(root)영역이 Full이 발생

1. Environment

     – MCCS Enterprise 4.4(GAM)

2. Symptoms

     – LG 화학에서 발생한 / (root) 파일 시스템 Full 관련하여 원인분석 내용을 보내드립니다.

     – 관제서버가 이미지가 설치된 (Docker 기반) Host 서버(VMware 가상머신)의 / 파일시스템 사용량이 100%가 되어 정상 부팅되지 않음

3. Cause

     <현상>

     – MCCS 관제서버에 chef라는 Application에서 사용하는 디렉토리가 재귀적(Recursive)으로 심볼릭 링크 생성됨

     – 이로인해 chef 서버가 실행 -> crash -> 실행 -> crash 가 무한반복 되면서 발생되는 로그로 인해 / 파일시스템이100%가 됨

     – 심볼릭 링크가 재귀적으로 생성되는 근본 원인은 파악중

4. Solution

     <처리 내역>

     – Linux 엔지니어 방문하여 시스템 접속후 파일시스템 사용량/원인 파일 확인 (chef application 로그 파일 사이즈30GB)

     – 연구소 원격 지원으로 관제서버 복구 및 원인 파악

     <향후 방안>

     – 심볼릭 링크 재귀 생성에 대한 원인 분석

     – 심볼릭 링크 생성시 재귀적 여부 확인하는 로직 추가 예정

5. Workaround

답글 남기기