데이터 적재량을 매주 자동으로 팀에 공유하기

discover 시스템의 적재량(데이터 인제스트 규모) 집계를 주간 cron으로 자동화하고, 매주 디스코드에 리포팅하는 기능을 추가했다. 사실 단순한 모니터링 자동화 같지만, 뒤에는 팀의 운영 효율과 의사결정 가시성을 높이려는 의도가 있었다.

왜 이 작업을 우선했나

discover는 내부 여러 팀이 의존하는 핵심 데이터 파이프라인이다. 근데 솔직히 말하면 "지금 discover에 얼마나 많은 데이터가 들어오고 있나?" 하는 질문에 즉각 답하기가 어려웠다. 현업에서 "최근 데이터 로드 상태가 어때?"라고 물어오면, 개발팀은 DB를 직접 쿼리해야 했고, 운영진은 추측으로만 답변했다.

이런 gap이 생기는 이유는:
- 가시성 부족: 메트릭이 존재하지만, 누군가 능동적으로 체크해야만 함
- 수동 점검의 비용: 일주일에 한 번 누군가가 수치를 뽑아서 공유하려면 번거로움
- 맥락 손실: "지난주보다 증가했나?" 같은 비교 분석이 체계적이지 않음

운영상 이런 불편함이 누적되다 보니, 팀 전체의 컨텍스트 비용이 올라가는 것을 느꼈다. 그래서 이 작업을 자동화 우선순위 리스트 위쪽으로 올렸다.

구현: 매주 한 번 적재량을 수집하고 알림으로

변경된 파일: bot/discover_groups.py

이 모듈에 새 기능을 추가했다:

1. 적재량 집계 로직: discover 각 그룹별 레코드 수, 용량, 최근 업데이트 타임스탐프 등을 DB에서 한 번에 수집
2. 주간 cron 트리거: 매주 월요일 아침 9시에 집계 작업 실행 (회사 업무 시간 고려)
3. 디스코드 포스팅: 결과를 채널 메시지로 포맷팅해서 전송

구현 시 고려한 점들:

팀 효율 관점: 자동화의 두 가지 역할

이런 일을 자동화할 때 흔히 빠뜨리는 부분이 있다. 단순히 "반복 작업을 줄인다" 정도로만 생각하면, 실제로는 팀의 의사결정이 더 느려질 수도 있기 때문이다.

이 작업에서 내가 신경 쓴 부분은:

1. 가시성의 기본값을 "공개"로 설정
- 매주 자동으로 공유되니, 누구나 discover 상태를 알 수 있음
- "지난주 대비" 비교가 디스코드 히스토리에 남음 → 팀이 자연스럽게 트렌드를 감지
- 새 팀원도 온보딩할 때 과거 메시지를 훑으면서 시스템 이해

2. Alert vs Info 의 구분
- 단순 리포트인 이상, 모든 메시지를 "이상 상황"으로 취급하지 않기
- 만약 임계값을 넘으면 별도의 경고 메시지 (이건 아직 미구현)
- 지금은 "정기 리포트" 톤으로 유지해서 피로도 낮추기

이런 식의 자동화는 "작업 자동화"라기보다 "팀 커뮤니케이션 자동화"에 가깝다. 개발팀이 manual reporting을 안 해도 되는 이득도 있지만, 더 중요한 건 팀 전체가 일관되고 최신의 정보에 기반해 판단할 수 있다는 점이다.

비슷한 패턴들

이번에 배운 패턴을 정리해보면, 정기 보고 자동화는 이런 식으로 우선순위를 매기면 좋다:

• High: 의사결정 기준이 되는 메트릭 (discover 적재량, API 에러율, 배포 횟수)
• Medium: 트렌드 추적 (응답시간 변화, DB 용량 증가)
• Low: 일회성 체크 (서버 상태 점검, 이상 감지)

discover 같은 경우는 High에 해당했다. 왜냐면:
- 현업이 "지금 ready?" 할 때 근거로 사용
- 적재량 이상이 성능 문제로 이어질 수 있음
- 팀간 협업할 때 숫자를 공통으로 들고 시작

회고

이 작업이 작아 보일 수도 있지만, 실제로는 팀의 "정보 흐름"을 바꾼 거다. 그 결과 몇 주 뒤 discover 성능 저하 이슈를 빨리 감지할 수 있었고, 현업과의 대화에서 "지난주 대비 20% 증가했네요"라는 구체적인 답변을 할 수 있게 됐다.

이런 작은 자동화들이 모여야 팀이 정말로 "자율적"이고 "빠른" 의사결정을 할 수 있다는 걸 또다시 느꼈다. 단순 코드 작성이 아니라 팀의 workflow 자체를 개선하는 일이 결국 엔지니어링 리더십의 역할이라고 본다.

🛒 이 글과 어울리는 추천 상품

• 모니터 쿠팡에서 보기 →
• 사무의자 쿠팡에서 보기 →
• 커피머신 쿠팡에서 보기 →

*위 링크는 쿠팡파트너스 활동의 일환이며, 일정액의 수수료를 제공받을 수 있습니다.