이력 뷰
Reliable → Optimization → History가 모든 개선을 늘어놓습니다.- When 생성/승인/배포/해결 시각.
- What 한 줄 제목.
- Lever 어느 종류의 변경인지.
- Cluster 다룬 신호 클러스터.
- Status proposed / simulated / approved / deployed / rolled back / resolved.
- Result 먹혔나?(클러스터 통과율 델타, 홀드아웃 영향, 회귀 건수).
개선 상세
개선을 누르면 전체 기록을 봅니다.- 문제 클러스터 설명과 샘플 신호.
- 진단 근본 원인 노트.
- 제안 검토한 모든 후보.
- 시뮬레이션 before/after 숫자.
- 승인 승인자, 시각, 코멘트.
- 배포 대상 버전.
- 후속이 클러스터의 신호가 다시 나왔나? 언제?
성공률
이력 맨 위에 이렇게 뜹니다.- 배포된 개선: 47.
- 아직 해결된 채(회귀 없음): 42.
- 30일 안에 회귀: 3.
- 롤백: 2.
- 시뮬레이션이 대표성이 부족합니다. 데이터셋이 너무 많이 놓치고 있습니다.
- 제안이 너무 공격적입니다. 세부에만 맞춰져 일반화가 안 됩니다.
- 회귀 방어가 허술합니다. 크리티컬 예시가 회귀 스위트에서 빠져 있습니다.
시간에 따른 개선 패턴
차트 뷰는 매주 출시된 개선을 레버별로 묶어 보여줍니다.- 건수가 오르면 활발한 수정 주기입니다. 자라는 Flow에는 건강한 신호죠.
- 건수가 내리면 이슈가 줄었거나(좋음) 팀이 덜 챙기는 것입니다(나쁨. 확인된 지 오래된 신호로 큐를 점검하세요).
- 한 레버에 몰리면 그 레버를 잘 쓰고 있는 것입니다. 다른 레버도 볼 값이 있는지 생각해 보세요.
개선 비교
개선 두 개를 골라 Compare를 누릅니다. 이렇게 보여줍니다.- diff를 나란히.
- 시뮬레이션 델타.
- 둘이 같은 클러스터인지 다른지.
개선 레시피
특정 레버와 변경 패턴이 계속 먹히면 레시피로 저장합니다. 레시피는 다시 쓸 수 있는 제안 템플릿입니다.- “태그 부스트 레시피” 클러스터가 어떤 태그를 선호한다 싶으면 프리셋 변경을 자동으로 만듦.
- “룰 추가 레시피” 클러스터가 일관된 동작 공백을 보이면 메모리 룰을 만듦.
롤백 이력
모든 롤백이 이력에서 눈에 띄게 표시됩니다.- 어느 개선이 롤백됐나.
- 언제.
- 왜(롤백 이유는 필수).
- 그 뒤에 배포된 것(대개 바로잡은 버전).
내보내기
전체 이력을 CSV나 JSON으로 내보낼 수 있습니다. 이럴 때 씁니다.- 주간 팀 리뷰. 무엇이 출시됐고 남았는지.
- 분기 품질 리포트. 개선 건수, 성공률, 비용 흐름.
- 컴플라이언스 감사. 변경 통제 절차의 증거.