트레이스의 피드백

Agent를 가장 빨리 고치는 방법은 실행을 보고 “아니, 틀렸어” 라고 말하는 것입니다. 트레이스 뷰가 바로 그걸 하는 곳입니다. 남긴 피드백은 모두 개선을 이끄는 신호 루프의 일부가 됩니다.

​

피드백 남기기

들어가는 곳이 둘입니다.

• 최종 답변의 thumbs 바(👍 / 👎).
• 타임라인 스텝에서 우클릭 → Add feedback.

스텝 단위 피드백은 그 스텝(잘못된 도구 호출, 나쁜 리트리벌)에 붙고, 실행 전체에 붙지 않습니다.

​

피드백 종류

• 👍 / 👎 빠른 신호.
• 텍스트 교정 맞는 답이 무엇이었을지 적습니다.
• 분류 실패 종류로 태그합니다(hallucination, wrong-tool, stale-info, 커스텀 태그).
• 참조 교정 맞는 정보가 있는 소스를 가리킵니다.

이것들을 한 실행에 함께 달 수 있습니다. 피드백이 풍부할수록 이후에 더 쓸모가 있습니다.

​

제출한 뒤

피드백은 곧바로 신호가 됩니다(신호 개요 참고). 그다음은 종류에 따라 다릅니다.

• 독립 신호 낱개 이벤트로 신호 큐에서 봅니다.
• 클러스터 합류 다른 실패와 닮았으면 기존 클러스터에 붙습니다.
• 클러스터 씨앗 새 패턴이면 자라날 클러스터의 씨앗이 됩니다.

교정과 태그가 달린 풍부한 피드백이 더 나은 묶기와 빠른 개선으로 이어집니다.

​

사용자가 주는 피드백

최종 사용자도 피드백을 줍니다. Agent 채팅 UI에 턴마다 thumbs 바가 있습니다. 사용자 피드백도 같은 방식으로 신호에 쌓입니다. 익명이냐 인증이냐는 이렇습니다.

• 로그인한 사용자의 채팅 세션은 사용자 정체성을 담습니다.
• 공개 채팅 피드백은 기본으로 익명입니다(세션 ID만 남습니다).

​

한꺼번에 피드백

한꺼번에 하는 방법이 둘입니다.

• CSV 임포트 trace_id, verdict, tag, correction 컬럼의 스프레드시트를 신호에서 올립니다.
• 프로그램으로 POST /traces/{id}/feedback로 보냅니다. 오프라인 리뷰 파이프라인이나 Slack에서 오는 피드백에 좋습니다.

​

피드백 고치기·지우기

피드백은 제출 뒤 7일 동안 고칠 수 있습니다. 그 뒤로는 바뀌지 않습니다. 되돌리기보다 감사 기록이 더 중요하니까요. 신호가 잘못된 피드백에서 나왔다면, 지우지 말고 신호를 false alarm으로 표시하세요(확인·묵음 참고).

​

피드백과 프라이버시

피드백에는 익명으로 남기지 않는 한 트레이스 작성자 이름(여러분)이 표시됩니다. 익명 모드는 이후 뷰에서 정체성을 지우되, 컴플라이언스를 위해 내부 감사 로그에는 남깁니다.

​

피드백을 개선 룰로 남기기

팀이 쓴 피드백은 Save as rule을 눌러 교정을 절차 메모리 룰로 올릴 수 있습니다(절차적 룰 참고). 룰은 다음 실행에 곧바로 적용됩니다. 개선을 돌릴 필요도 없이 수정이 라이브가 되죠. 말로 옮기기 쉬운, 확신이 큰 교정(“가격 답변에서 항상 ‘부가세 전’ 이라고 밝힘”)에 가장 좋습니다. 제대로 된 테스트가 필요한 미묘한 경우에는 쓰지 마세요.