측정하고 싶은 것과 측정할 수 없는 것

낮에 쓴 글이 문장 하나를 미완성으로 끝냈다. "자동화 파이프라인에서 사람이 봐야 하는 부분이 남아있으면 그게 결"이라고 쓰다 잘렸다. 저장하고 나서야 알았고, 고치지 않았다. 저녁에 다시 열어보니 오히려 그게 더 정직한 문장처럼 읽혔다. "결론이 뭔가"를 내가 모르는 채로 올린 셈이다. 낮에 두 가지 설계 선택지를 나란히 정리하면서, 정작 가장 중요한 물음은 남겨뒀던 것 같다.

낮 글에서 썼던 두 구조, 에이전트가 자기 전사본을 통째로 들고 다니는 방식과 외부 상태 저장소를 경유하는 방식은, 결국 같은 질문을 두 면에서 보고 있다. 에이전트가 무엇을 기억하는가는 어떤 상태를 신뢰할 수 있는가의 문제다. 측정 루프도 마찬가지다. 내가 지표를 만드는 이유는 에이전트가 잘 돌아가고 있는지 알고 싶어서인데, 그 지표가 내가 정말 알고 싶은 것에 얼마나 근접한가는 별개의 질문이다.

정교한 기준의 함정

낮 글에서 지금 쓰는 검증 방식이 "조야하다"고 했다. 형식 일치, 빈 응답 카운트, 오류 비율. 내용 품질은 사람이 눈으로 확인한다고. 저녁에 이 문장을 다시 읽으면서 드는 생각은, 그게 꼭 나쁜 상태는 아닐 수 있다는 거다.

측정 기준을 정교하게 다듬을수록, 에이전트는 그 기준을 충족하는 방향으로 조금씩 수렴한다. 프롬프트를 조정하고, 출력 형식을 맞추고, 테스트를 통과시키다 보면 어느 시점에 내가 원래 원했던 것과 내가 측정하는 것 사이에 틈이 생겨있다. CI는 초록인데 뭔가 이상한 그 느낌. 소프트웨어 테스트에서도 익숙한 문제지만, 에이전트에서는 좀 더 교묘하다. 행동을 최적화하는 대상이 사람이 만든 지표라는 점이 눈에 보인다.

코드는 같은 입력에 같은 출력을 내야 정상이지만, 에이전트는 일정한 불확정성을 전제로 움직인다. 그 불확정성이 어떤 상황에서는 유연함이고, 다른 상황에서는 측정 불가능성이다. 요약이 잘 됐는지, 분류가 맞는지, 이런 건 프록시 지표로 어느 정도 잡을 수 있다. 하지만 그 프록시가 실제와 어긋나기 시작하는 지점을 알아채는 것은 여전히 사람 감각이다. 낮에 언급한 Google의 eval 루프도 결국 사람이 기준치를 정하고 이상 감지를 설계해야 한다는 전제 아래 돌아간다.

파이프라인 마지막에 사람이 남는다는 게 측정 루프의 실패가 아닐 수 있다. 오히려 가장 중요한 판단이 거기서 일어난다는 신호일 수도 있다. 그 부분을 줄이는 방향이 맞는 건지, 아니면 그 자리를 더 잘 지원하는 방향이 맞는 건지는 다른 질문이다. 낮에는 그 구분을 하지 않고 "조야하다"고 넘겼다.

내가 보지 못한 레이어

오늘 피드를 훑다가 Claude Code 관련 익스텐션에서 보안 이슈 이야기가 흘렀다. 사실 확인을 아직 못 했다. 금요일 저녁에 제대로 파볼 여력이 없었고, 그 내용이 실제 이슈인지도 모른다. 다만 그 소식을 보는 순간, 낮에 썼던 생각이 잠깐 다른 각도로 보였다.

에이전트가 자기 전사본을 읽는 구조에서, 그 전사본 안에 무엇이 들어있는지가 핵심이다. 토큰 비용 문제로만 보면 전사본 길이가 관건이지만, 신뢰 측면에서 보면 내가 통제하지 못하는 레이어가 파이프라인 안에 얼마나 있는가의 문제가 된다. 에이전트가 실제로 무엇을 읽고 있는지, 나는 얼마나 보고 있는가.

내가 운영하는 봇들의 구조를 머릿속에 그려봤다. 직접 작성한 호출 로직 바깥에 있는 것들은 동작을 직접 확인한 게 아니라, 문서를 읽었거나 결과를 보고 추론한 것들이 많다. 실측한 범위가 생각보다 좁다. 낮에 "직접 토큰 로그를 뜯어봐야 정확한 패턴을 알 수 있다"고 썼는데, 정작 아직 그걸 하지 않았다. 써놓고 하지 않은 것들이 조금씩 쌓이고 있는 것 같다.

결론을 못 내리는 저녁이다. 낮에 정리한 트레이드오프들은 여전히 유효하다. 전사본 방식이냐 외부 상태 방식이냐, 측정 루프를 얼마나 정교하게 만드냐. 그런데 저녁이 되고 나서야, 그 트레이드오프를 판단하는 전제 자체가 불안정할 수 있다는 느낌이 왔다. 내가 선택하는 구조의 각 부분을 충분히 알고 선택하는가.

한 주 끝에 피로가 쌓이면 판단이 보수적으로 기운다는 건 알고 있다. 모르는 것에 더 예민해지고, 지금 작동한다는 것과 왜 작동하는지 아는 것의 거리가 오늘 유독 크게 느껴진다. 그게 피로 탓인지, 봐야 할 걸 오늘 봐서인지는 모르겠다.

내일은 어차피 켜볼 테니, 오래 돌아가고 있는 봇 하나를 골라 실제 토큰 사용 패턴을 확인해볼 생각이다. 낮에 써놓고 아직 하지 않은 것부터 시작하는 게 맞다.