경로
단계별로
1. 탐지
run이 실행되면 Failure Agent가 신호를 자동으로 탐지합니다. 툴이 실패하거나, 답변이 소스와 어긋나면 큐에 신호가 생깁니다(신호원 참고). 탐지 자체는 설정 → 루프의 실패 탐지 토글로 켜고 끕니다.2. 실패 확정
신호 상세를 살피고 실패 확정 또는 정상으로 판단을 누릅니다(실패 확정·정상 판단 참고). 정상 판단은 여기서 멈춥니다. 오탐은 더 나아가지 않습니다.3. 군집에 케이스가 쌓임
확정된 실패는 원인별 군집으로 묶이고, 신호를 만든 입력이 군집의 케이스(오답 예시)가 됩니다. 케이스에 정답과 사유를 채울수록 실험 채점이 좋아집니다(군집 참고).4. 실험
군집 상세의 시뮬레이션 실행, 또는 시뮬레이션 화면의 새 실험으로 시작합니다. 새 실험은 3단계입니다.- 군집 선택 어떤 군집을 개선할지 선택합니다.
- 실험 설정 개선안 수(2/3/4/6), 예산(USD), 그리고 옵션으로 비용 최적화, 일관성 측정, Hold-out 회귀(안 함/약하게/강하게)를 정합니다. 자연어로 방향을 제안할 수도 있습니다. 예: “프롬프트는 그대로 두고, 가드레일이나 메모리·검색 쪽만 조정해봤으면 좋겠어요.” 참조 폴더로 직접 만든 골든셋 기준 채점도 가능합니다.
- 실행 요약을 확인하고 실행 시작을 누릅니다.
5. 후보 검토
실험이 끝나면 후보들이 순위와 함께 나옵니다. 후보마다 이렇게 보여줍니다.- 결과 좋아진 정도, 망가진 케이스, 시험한 케이스, 점수
- 실제 바뀌는 내용 어느 표면(프롬프트, 가드레일, 메모리, 리트리벌 등)의 무엇이 바뀌는지, before → after와 함께
- 케이스별 결과 케이스마다 개선 / 회귀 / 유지 / 미해결
- 심층 검증 정확·안전, 비용, 신뢰성, 회귀 검사
6. 배포
마음에 드는 후보를 배포합니다. 배포는 소유자·매니저만 할 수 있습니다. 승인된 개선은 버전 → 개선 탭에 번호가 매겨진 버전으로 쌓입니다. diff·작성자·평가 점수·원클릭 롤백이 함께입니다(버전 참고).7. 지켜보기
배포 뒤에도 같은 패턴의 신호가 다시 나오는지 지켜봅니다. 막아둔 기능이 되살아났는지는 재검증 탭이 알려줍니다.다음 단계
시뮬레이션
변경을 프로덕션에 내보내기 전 케이스로 실험합니다.
버전
배포된 개선의 diff와 롤백.