Grafana·Prometheus·Loki로 메트릭·로그·트레이스 통합

모니터링 스택 초기 설정 (Grafana + Prometheus + Loki)

2026-04-03 기준으로 관찰 가능성(Observability) 스택 구성을 마무리했음.

Grafana + Prometheus + Loki + Tempo 조합으로 메트릭, 로그, 트레이스를 한 곳에서 볼 수 있게 됐음. Docker Compose로 운영 환경 배포까지 자동화했고, CI 파이프라인에서 SSH로 원격 배포하는 구조임.

구성 요소

실제로 연동하면서 삽질한 부분은 내부망 주소 문제였음. WAS 서버끼리 내부 IP로 통신이 안 돼서 공인 IP로 바꿨더니 해결됐음. Prometheus host 네트워크 모드 설정도 한참 헤맸는데, 컨테이너에서 호스트 포트를 직접 바라봐야 해서 그렇게 처리함.

Nginx IP 제한까지 걸어서 외부에서 모니터링 UI 접근을 막아뒀음.

배운 것

• Docker 네트워크 모드가 모니터링 스택 구성에서 생각보다 중요함
• Prometheus scrape 설정에서 target 주소 실수가 제일 흔한 오류
• Grafana datasource provisioning을 파일로 관리하면 재배포가 훨씬 편함

끝

작업 규모는 크지 않았지만 운영 안정성을 위한 필요한 변경이었음. 이런 작은 수정들이 쌓여서 전체 시스템의 신뢰도를 높임.