회귀 지키기

가장 무서운 결과는 실패할 줄 알았던 게 아니라, 잘 되던 게 조용히 깨지는 것입니다. 시뮬레이션에는 회귀를 잡는 장치가 겹겹이 들어 있습니다.

​

실험 옵션: Hold-out 회귀

새 실험의 실험 옵션에서 Hold-out 회귀를 켭니다. 기존에 맞던 케이스가 깨지지 않는지 검증하는 옵션으로, 안 함, 약하게, 강하게 중 선택합니다(새 실험 참고). 켜고 실험하면 실험 결과에 홀드아웃 안전 N/N이 표시됩니다. 지켜진 케이스 수입니다.

​

결과에서 회귀 읽기

• 실험 결과 요약의 망가짐 잘 되던 케이스가 깨진 수입니다.
• 후보 상세의 케이스별 결과 케이스마다 개선인지 회귀인지 표시됩니다.
• 회귀가 없으면 후보에 “망가진 것 없음” 배지가 붙습니다.

보드의 회귀 칸은 회귀가 남았거나 개선이 확인되지 않은 실험이 모이는 곳입니다. 회귀 칸에 있다고 버려진 게 아니라, 옵션을 바꿔 다시 실험하거나 후보를 더 검증하라는 뜻입니다.

​

심층 검증의 회귀 검사

배포 전 마지막 겹입니다. 후보 상세의 심층 검증에서 회귀 검사를 실행해, 이 후보가 잘 되던 케이스를 깨뜨리지 않는지 다시 확인합니다. 회귀 없이 개선이 확인되면 “안전한 개선” 배지가 붙습니다(후보 검증과 배포 참고).

​

신호의 재검증 탭

배포 뒤의 반대 방향 확인은 신호 화면의 재검증 탭이 맡습니다. 막아둔 기능이 다시 되는 되찾을 복구(bad→good)와 holdout 회귀(good→bad)를 봅니다(재검증 참고).

​

더 알아보기