1. Environment
– MCCS Enterprise 4.4(GAM)
2. Symptoms
– LG 화학에서 발생한 / (root) 파일 시스템 Full 관련하여 원인분석 내용을 보내드립니다.
– 관제서버가 이미지가 설치된 (Docker 기반) Host 서버(VMware 가상머신)의 / 파일시스템 사용량이 100%가 되어 정상 부팅되지 않음
3. Cause
<현상>
– MCCS 관제서버에 chef라는 Application에서 사용하는 디렉토리가 재귀적(Recursive)으로 심볼릭 링크 생성됨
– 이로인해 chef 서버가 실행 -> crash -> 실행 -> crash 가 무한반복 되면서 발생되는 로그로 인해 / 파일시스템이100%가 됨
– 심볼릭 링크가 재귀적으로 생성되는 근본 원인은 파악중
4. Solution
<처리 내역>
– Linux 엔지니어 방문하여 시스템 접속후 파일시스템 사용량/원인 파일 확인 (chef application 로그 파일 사이즈30GB)
– 연구소 원격 지원으로 관제서버 복구 및 원인 파악
<향후 방안>
– 심볼릭 링크 재귀 생성에 대한 원인 분석
– 심볼릭 링크 생성시 재귀적 여부 확인하는 로직 추가 예정
5. Workaround