Skip to main content
증거 없는 답은 주장일 뿐입니다. 트레이스의 검증은 답변을 주장 단위로 쪼개 실행 안의 증거와 대조하고, 주장마다 판정을 내립니다.

검증 실행

트레이스 상세 패널의 검증 섹션에서 [검증] 버튼을 누릅니다. 아직 돌리지 않은 트레이스에도 주장 분해 · 증거 검색 · 검증 단계가 미리 나열되어 있고, 이때 단계를 눌러 보면 아직 아티팩트가 없다는 안내만 나옵니다. 버튼을 누르면 도는 동안 실행 중 배지가 붙고, 끝나면 결과 배지(예: 반박됨)로 바뀝니다. 단계마다 오른쪽에 소요 시간이 채워집니다.

검증 단계

  1. 주장 분해 답변이 개별 주장으로 쪼개집니다. 주장마다 원문에서 인용한 구절과 분류·중요도 태그(예: Factual, High)가 붙습니다.
  2. 증거 검색 실행 안에서 각 주장의 근거를 찾습니다. 왼쪽의 펼침 아이콘을 누르면 문장 분리 · 엔티티 추출 · 증거 매칭 하위 단계가 나옵니다.
  3. 검증 주장마다 증거와 대조한 판정과 단계별 추론(reasoning)이 남습니다.

단계별 아티팩트 열어 보기

단계나 하위 단계를 클릭하면 오른쪽에 그 단계가 실제로 무엇을 만들었는지 나옵니다. 하위 단계를 고르면 제목 위에 상위 단계 이름이 함께 표시됩니다. 오른쪽 위 포맷 / JSON 토글로 읽기 좋은 표시와 원본 JSON을 오갑니다. 주장 카드마다 오른쪽에 글자 수가 붙고, 접었다 펼 수 있습니다.

판정 읽는 법

  • 주장(Claim)마다 판정 배지가 붙습니다. 증거가 주장을 못 받치면 반박됨입니다.
  • reasoning은 어떤 증거를 봤고 왜 그 판정에 이르렀는지를 단계로 적습니다. 마지막 줄에 판정 라벨이 나옵니다.
  • 검증 섹션 아래 게이지가 트레이스 전체의 지지 비율을 보여줍니다. 같은 게이지가 목록의 판정 컬럼에도 나옵니다.
  • 목록의 판정 필터(지지 · 부분 · 불충분 · 미검증)로 판정 수준별로 트레이스를 거를 수 있습니다. 아직 검증을 안 돌린 트레이스는 미검증입니다.
낮은 지지 비율이 미묘한 환각의 가장 강한 신호입니다. Agent가 소스를 읽긴 했는데, 소스가 받쳐 주는 것보다 강한 결론을 냈다는 뜻이죠. entity_overlap이나 tfidf_score가 낮은데 판정이 반박됨이면, 답변이 실행 안에 아예 없던 값을 지어냈을 가능성이 큽니다. 반대로 겹침은 높은데 반박됐다면 같은 소재를 놓고 결론만 어긋난 경우입니다.

신호로 이어짐

반박된 주장은 근거 검증 신호로 자동 등록됩니다. 신호 상세에서 해당 트레이스와 소속 군집으로 바로 이동할 수 있습니다. 신호 개요를 참고하세요. Flow 안에 검증 블록을 심어 실행마다 자동으로 돌리는 방법은 답변 검증을 참고하세요.

같은 검증이 수정안을 채점합니다

검증은 감지에만 쓰이지 않습니다. **설정 → 리뷰와 점수**의 기준과 여기서 본 주장 단위 판정이, 시뮬레이션에서 수정 후보를 채점하는 잣대입니다. 심층 검증의 정확·안전과 회귀 검사는 과거 케이스에 같은 검증을 다시 돌리는 것입니다. 후보가 이기는 이유는 지지 비율이 올라갔기 때문이지, 답이 그럴듯해 보여서가 아닙니다. 후보 검증과 배포를 참고하세요.