자동액션 워커·트래픽·SEO 감시의 판단 모델을 Opus로 격상

자동액션 트리거의 judgment 호출을 Claude Sonnet에서 Opus 4.8로 업그레이드했다. 세 곳의 워커/감시 스크립트에서 의사결정을 담당하는 부분을 일괄 변경한 작업이다.

왜 Sonnet이 아닌 Opus인가

처음에 자동액션 시스템을 구축할 때는 Sonnet을 선택했다. 빠르고 비용 효율적이고, 많은 경우 충분한 추론 능력이 있기 때문이다. 하지만 시간이 지나면서 패턴이 보였다. bot-action-worker와 traffic-watcher, seo-monitor에서 각각 "이게 정말 이 자동액션을 트리거해야 하나?" 하는 경계 사례들이 늘어났다.

자동액션은 한 번 실행되면 사용자나 시스템에 직접 영향을 미친다. 트래픽 이상을 감지해서 어떤 조치를 취하거나, SEO 메타 이슈를 자동으로 처리하거나, 봇 액션을 실행하는 것인데, 이 판단 하나가 틀리면 나중에 복구하는 비용이 크다. 단순 텍스트 생성이나 분류와 달리, judgment 호출이라는 이름처럼 이건 "판단"이다.

Sonnet은 대부분 정확하지만, 미묘한 경계 케이스에서는 가끔 실수한다. 예를 들어 "이 트래픽 증가가 정상적인 것인가, 아니면 이상인가?"라는 물음에 Sonnet은 조건을 부분적으로만 고려할 수도 있다. Opus는 더 복잡한 추론을 하므로, 더 많은 맥락을 동시에 무시하지 않고 고려할 수 있다.

변경 범위와 일관성

세 곳 모두 기계적 판단만으로는 부족한 영역들이다. 트래픽 이상은 "정확히 몇 % 증가"라는 수치만으로 판단할 수 없다. 그 증가가 나쁜 것인지, 아니면 마케팅 캠페인 때문인지 맥락이 필요하다. SEO 메타도 마찬가지로 규칙만으로는 "이 메타 설명이 정말 개선될 필요가 있나"를 판단할 수 없다. 따라서 이 세 곳에 일관되게 Opus를 적용하는 것이 맞다고 판단했다.

의사결정: 비용 vs 정확도

이 변경을 추진할 때 고려한 것들:

• 비용 증가: Opus는 Sonnet보다 input/output 토큰당 비용이 높다. 자동액션 시스템이 항상 실행되는 것은 아니지만, 감시 스크립트들은 주기적으로 돈다. 따라서 월간 LLM 비용이 증가한다.
• 실수의 대가: 한 번의 잘못된 judgment가 사용자 경험을 깨뜨리거나 데이터 문제를 야기할 수 있다. 복구 비용(인력 + 모니터링 + 사후 처리)이 훨씬 크다.
• 스케일: 지금은 작지만, 자동액션이 더 많은 도메인으로 확대될 가능성이 있다. 초기에 정확도를 높여두면 나중에 시스템을 신뢰할 수 있는 기반이 된다.

결론적으로 비용 vs 정확도 트레이드오프에서 이 경우 정확도를 택했다. judgment라는 이름이 붙은 호출일수록 신뢰도가 중요하기 때문이다.

패턴과 배운 점

이 작업을 하면서 느낀 점 하나는, 시스템이 "자동"으로 뭔가를 하기 시작할 때 모델 선택이 얼마나 중요한지다. 초기에는 빠름과 비용을 우선하는 게 맞지만, 그 자동액션이 쌓이고 영향이 커질수록 품질 투자가 필요해진다. 이건 일반적인 소프트웨어 엔지니어링 원칙과 같다. MVP는 빠르게, 하지만 프로덕션 시스템의 핵심 경로는 믿을 수 있어야 한다.

다른 팀들도 유사한 자동 의사결정 시스템을 가지고 있다면, 이 경험이 도움이 될 것 같다. 특히 "이 기능은 정말 Sonnet으로 충분한가?"라는 물음을 던져봐야 한다는 걸 배웠다.

🛒 이 글과 어울리는 추천 상품

• 모니터 쿠팡에서 보기 →
• 외장SSD 쿠팡에서 보기 →
• 커피머신 쿠팡에서 보기 →

*위 링크는 쿠팡파트너스 활동의 일환이며, 일정액의 수수료를 제공받을 수 있습니다.