Skip to main content
모든 신호는 후보로 시작합니다. 자동 확정은 없습니다 — 큐에서 가장 먼저 할 일이 판정입니다. ‘실패 확정’ 을 누르면 수정 대상이 되고, ‘실패 아님’ 이면 군집 집계에서 빠집니다. 이 문구 그대로가 드로어에 안내로 떠 있습니다.

신호 상세 드로어

목록에서 신호를 누르면 오른쪽에 드로어가 열립니다. 화면에 떠 있는 동안 드로어는 라이브 — 백그라운드 잡이 군집을 배정하는 순간 cluster 필드가 자동으로 갱신됩니다 (배정 중에는 군집 배정 중 배지가 잠깐 뜸). 상단: summary 타이틀, View trace → 링크, ID · Source 타입 · Flow · Severity. 아래 탭이 섹션을 옮깁니다.

실패 확정

[실패 확정] 을 누르면 신호가 수정 대상이 됩니다. 눈에 보이는 변화:
  • 버튼이 확정 상태로 유지 — 드로어를 다시 열어도 판정이 남아 있음.
  • 군집 · 케이스가 백그라운드로 생성됩니다. 코멘트가 답 정답으로 붙은 케이스 가 부모 군집에 붙습니다 (Cases 참고).
  • 매칭 군집이 아직 없으면 부모 군집도 이 순간에 생성됩니다. 빈 군집은 절대 쌓이지 않습니다 — 후보만으로는 군집이 안 생깁니다.
이 케이스들이 나중에 시뮬레이션의 테스트 케이스가 됩니다.

실패 아님

오탐이거나 그대로 두어도 되는 경우엔 [실패 아님] 을 누릅니다. 신호가 군집 집계에서 빠지고 excluded 판정으로 이동합니다.

가드레일(F) 신호 — 정상 차단 vs 오발

가드레일 신호는 두 갈래 판정이 필요합니다.
  • 정상 차단 — AI 가 하면 안 될 말을 실제로 했다. 확정 → 군집 → 케이스. 막힌 답 원문이 케이스의 wrong output 으로 들어갑니다.
  • 오발 — 답은 멀쩡했는데 차단이 과했다. guardrail_misfire 사유로 제외되고, 드로어에 해당 규칙 링크가 나옵니다 — 규칙을 손보거나 끄세요.
막힌 답 원문은 신호 payload 에만 보관됩니다 — 실행 출력·세션 메모리·다운스트림 이벤트에는 안 나갑니다.

좋은 피드백 남기기

Feedback 탭에 적혀 있듯이: 구체적일수록 좋습니다. 무엇이 잘못됐고 올바른 답 · 원하는 방향이 뭐였는지 쓰세요 — 이 케이스의 답 정답이 됩니다. placeholder 예시처럼 쓰면 됩니다:
상호작용은 사실이지만 근거가 없다. 거절이 아니라 인용 추가로 고쳐야 한다.

판정 뒤

확정된 실패는 군집으로 묶이고 개선의 원자재가 됩니다. 군집에서 Run simulation 으로 후보 수정을 실험합니다. 신호에서 수정까지 참고.