근거 명시로 요약의 신뢰도 높이기
목차
읽기 프롬프트를 개선했다. 사용자가 긴 텍스트를 빠르게 파악하고 신뢰할 수 있도록, 1분 요약과 섹션별 핵심, 그리고 각 결론 뒤에 명확한 근거를 붙이는 방식으로 설계했다. 특히 전체 구조는 단정적으로, 디테일은 추정치나 경향으로 표현하는 "2단 화법"을 도입했다.
왜 프롬프트 개선이 필요했나
초기에는 "이 텍스트를 요약해줘"라는 단순한 지시만으로도 충분하다고 생각했다. 하지만 팀에서 실제로 요약 결과를 운영하면서 빈틈이 보였다. 사용자가 요약을 읽고 "정말 원문에 있는 내용인가?", "왜 이 부분이 중요하다고 한 건가?"라는 의문을 자주 제기했다. 결과의 정확성이 높아도 투명성이 없으면 신뢰를 받기 어렵다는 교훈을 얻었다.
이는 일반적인 AI 기반 분석 기능이 마주하는 문제와도 맞닿아 있다. 사용자는 단순히 "답"을 원하는 게 아니라 "왜 그 답인지"를 알고 싶다. 특히 의사결정에 영향을 미치는 요약이라면 더욱 그렇다.
개선한 프롬프트의 구조
1. 1분 요약
사용자가 정말 바쁠 때를 대비한 극도로 짧은 버전이다. 가장 핵심적인 메시지 1-2개에만 집중해서, 30초에서 1분 사이에 읽을 수 있는 길이로 정리한다.
2. 섹션별 Takeaway
대부분의 긴 문서는 여러 부분으로 나뉘어 있다. 각 섹션이 "무엇을 말하려고 했는가"를 한 두 문장으로 요약해서, 사용자가 필요한 섹션을 빠르게 찾거나 스킵할 수 있도록 했다.
3. 근거 명시 — 신뢰도의 핵심
가장 중요한 부분이다. "결론: 이 텍스트는 A라고 주장한다"라고만 쓰면, 사용자는 의심한다. 대신 "결론: A라고 주장한다 (원문 3-4번째 문단에서 '~'라고 명시)"라는 식으로 정확히 근거를 지목하도록 했다.
근거를 명시하는 일은 단순해 보이지만 실제론 까다롭다. 틀린 근거를 붙이는 것이 아예 근거가 없는 것보다 신뢰도를 훨씬 낮출 수 있기 때문이다. 그래서 이 부분은 프롬프트에서 "원문에서 직접 인용 또는 명확하게 위치를 지목하라"고 강하게 강조했다.
4. 2단 화법: 구조는 단정, 디테일은 경향
가장 독특한 설계가 바로 이것이다. 프롬프트를 두 층으로 나눴다:
- 구조 제시는 단정적으로: "이 텍스트의 주요 논점은 A → B → C 순서로 전개된다"처럼 기본 뼈대는 명확하고 확신감 있게 제시한다.
- 각 디테일은 경향이나 추정으로 표현: 하지만 세부 해석이나 의도 파악에서는 "A 경향을 보인다", "대체로 B라고 볼 수 있다", "아마도 C를 암시하는 것 같다" 같은 표현을 사용한다.
왜 이렇게 나눴는가? 팀 논의 과정에서 양쪽 요구가 모두 있었기 때문이다. 한편으로는 "핵심 구조를 명확하게, 빠르게 알려달라"는 요구가 있었고, 다른 한편으로는 "이 분석이 확정적인 게 아니라는 걸 알고 싶다", "우리가 100% 신뢰해도 되는 수준인지 알아야 한다"는 요구가 있었다. 둘을 동시에 만족하려니 이 방식이 나왔다.
팀 리딩과 설계에서 배운 점
이 작업을 하면서 한 가지 중요한 깨달음이 있었다. 신뢰도는 정확성만으로는 만들어지지 않는다. 정확한 요약이라도 근거가 명시되지 않으면 사용자는 의심한다. 반대로 약간의 불확실성이 있더라도, 추론 과정과 한계를 명확하게 드러내면 사용자는 그 결과를 신뢰하고 적절히 판단할 수 있다.
조직 관점에서 보면, 이것은 타당성(validity)에 대한 투명성 설계라고도 볼 수 있다. 최종 결과도 중요하지만, "어떤 근거로 이 결론에 도달했는가", "여기서 추정의 여지는 어디인가"를 사용자에게 충분히 드러낼 수 있느냐가 제품의 신뢰도를 좌우한다.
비슷한 맥락에서, 팀이 다른 분석이나 판단 기능을 설계할 때도 이 원칙을 생각해볼 만하다. 최종 결과의 정확도와 거기에 도달한 과정 중 뭐가 더 중요한가? 아마 둘 다인데, 둘을 균형 있게 투명하게 드러내는 방법을 먼저 설계하는 게 좋을 것 같다. 사용자를 신뢰할 수 있게 해주는 건 결국 복잡한 기능이 아니라 정직한 커뮤니케이션이었다.
🛒 이 글과 어울리는 추천 상품
*위 링크는 쿠팡파트너스 활동의 일환이며, 일정액의 수수료를 제공받을 수 있습니다.
댓글 0
첫 댓글 달아줘.