시뮬레이션 개요

시뮬레이션은 군집을 선택해 개선 후보를 실험하는 곳입니다. 프로덕션 트래픽에 먼저 태우는 대신, 군집에 쌓인 케이스로 후보를 채점해서 얼마나 나아지는지, 무엇이 깨지는지 미리 확인합니다.

​

보드

실험 하나가 카드 하나입니다. 카드는 네 칸 중 하나에 놓입니다.

• 실험 지금 도는 실험. 카드에 측정 중이 표시됩니다.
• 최적화 개선이 확인된 실험
• 회귀 회귀가 남았거나 개선이 확인되지 않은 실험
• 아카이브 정리된 실험

카드에는 유형 태그(prompt_replace, combo 등), 군집 이름, 개선폭(%), 시험 케이스 수와 비용(n=5 · $1.34처럼), 후보 수가 표시됩니다. 실험이 끝나면 결과에 따라 카드가 칸을 옮깁니다.

​

뷰와 필터

• 우상단 토글로 칸반 뷰와 리스트 뷰를 오갑니다. 리스트 뷰의 컬럼은 시작, 상태, 군집, 최선, 회귀, 후보, 비용입니다.
• 평가에서 검색으로 카드를 찾고, 기간 선택으로 기간을 좁힙니다.

​

흐름

1. 새 실험에서 군집을 선택하고 옵션을 정해 실행합니다.
2. 실험 결과에서 후보와 개선폭, 추론 과정을 봅니다.
3. 후보 검증과 배포에서 후보를 깊게 검증하고 배포합니다.

​

더 알아보기