후보 검증과 배포

실험 상세에서 후보를 누르면 후보 상세가 열립니다. 이 화면에서 후보가 실제로 무엇을 바꾸는지 읽고, 심층 검증으로 확신을 쌓고, 배포까지 갑니다.

​

후보 읽기

• 헤더 후보 번호, 최적 배지, 개선폭, 그리고 우상단 [배포] 버튼
• 결과 점수와 함께 좋아진 정도, 망가진 케이스, 시험한 케이스가 나옵니다. 망가진 게 없으면 “망가진 것 없음” 배지가 붙습니다. 이 점수는 **설정 → 리뷰와 점수**의 기준과, 트레이스에서 환각을 잡아내는 것과 같은 주장 단위 검증으로 매겨집니다.
• 실제 바뀌는 내용 레버 태그(prompt_replace 등)와 대상 에이전트, 그리고 바뀌는 내용 전문입니다. 프롬프트 교체 후보라면 새 프롬프트가 그대로 보입니다.
• 원본 before → after 접혀 있는 비교를 펼쳐 원래 내용과 나란히 봅니다.
• 케이스별 결과 케이스마다 유지 또는 미해결로 표시되고, 개선과 회귀가 구분됩니다. 행을 펼치면 케이스 상세를 봅니다.

​

심층 검증

숫자 하나로 배포를 정하기 불안할 때, 후보를 네 가지 관점으로 다시 검사합니다.

• 정확·안전 답이 좋아지면서 잘 되던 게 깨지지 않는가? 트레이스에서와 똑같이 답을 증거와 다시 대조합니다.
• 비용 같은 품질을 더 싼 모델로?
• 신뢰성 여러 번 돌려 답이 일치하는가?
• 회귀 검사 잘 되던 케이스가 깨지지 않는가?

검사를 선택하고 [심층검증 실행] 버튼을 누르면 케이스를 다시 실행하는 과정이 실행 과정에 기록되고, 끝나면 정확성·신뢰성·회귀 수치가 나옵니다. 회귀 없이 개선이 확인되면 “안전한 개선” 배지가 붙습니다. [다시 실행] 버튼으로 반복할 수 있고, 결과가 미덥지 않으면 [재실험 필요로 표시] 버튼을 눌러 둡니다.

​

배포

[배포] 버튼을 누르면 후보의 변경이 적용됩니다. 배포된 개선은 버전의 개선 탭에서 관리합니다. 개선이 승인되어 배포되면 번호가 매겨진 버전으로 남고 diff, 작성자, 평가 점수, 원클릭 롤백이 따라옵니다(버전 참고).

​

더 알아보기