1
군집 선택
“어떤 군집을 개선할까요?” 목록에서 군집을 고릅니다. 행마다 카테고리 태그와 신호 수가 붙어 있고, 군집 검색으로 찾을 수 있습니다. 군집 상세에서 들어왔다면 이 단계는 이미 채워져 있습니다.
2
실험 설정
“어떤 옵션으로 실험할까요?”
- 개선안 수 2, 3, 4, 6 중 선택. 기본은 4입니다.
- 예산 (USD) 실험 지출 상한. 기본 $2입니다.
- 실험 옵션
- 비용 최적화 모델과 설정을 스윕해 정확성을 유지하는 더 싼 후보를 탐색합니다.
- 일관성 측정 동일 입력을 k회 반복 실행해 안정성을 측정합니다. 켜면 k 값을 정합니다(기본 3).
- Hold-out 회귀 기존에 맞던 케이스가 깨지지 않는지 검증합니다. 안 함, 약하게, 강하게 중 고릅니다.
- 실험에 대한 제안 (선택) 자유 텍스트로 방향을 줍니다. 예: “프롬프트는 그대로 두고, 가드레일이나 메모리·검색 쪽만 조정해봤으면 좋겠어요.”
- 더 많은 옵션 → 참조 폴더 (선택) 폴더를 고르면 직접 만든 골든셋 기준으로 후보를 채점합니다. 고르지 않으면 이 군집의 케이스를 씁니다.
3
실행
“이대로 실행할까요?” 군집, 유형, 개선안, 예산, 홀드아웃, 요청이 요약됩니다. 실행 시작을 누릅니다.
실행 중에는
실험은 백그라운드로 돕니다. 보드의 실험 칸에 측정 중 카드가 생기고, 카드를 열면 후보가 만들어지는 과정을 실시간으로 볼 수 있습니다(실험 결과 참고). 드로어를 닫고 다른 일을 해도 됩니다.더 알아보기
실험 결과
실험이 만든 후보와 지표를 읽습니다.
회귀 지키기
Hold-out 회귀 옵션이 하는 일.