신호가 묶이는 기준
Nora는 이런 신호를 묶습니다.- 비슷한 실패 의도 사용자가 뜻이 비슷한 질문을 함.
- 비슷한 실패 방식 같은 도구 에러, 같은 리트리벌 미스, 같은 주장 모순.
- 같은 flow / agent를 겨냥.
- 같은 사용자 세그먼트(스코프 키로 세그먼트를 나눌 수 있을 때).
클러스터 뷰
클러스터마다 이렇게 보여줍니다.- Title Nora가 만드는 짧은 요약(고칠 수 있음).
- Size 클러스터 안 신호 수.
- Trend 시간에 따른 발생(차트).
- Root cause hypothesis Nora의 최선 추측(고칠 수 있음).
- Sample signals 훑어볼 대표 신호 몇 개.
- Suggested fix 패턴이 알려진 개선 레시피와 맞을 때.
클러스터 확인
신호를 낱개로 N번 확인하는 것보다 클러스터를 확인하는 게 빠릅니다. Confirm cluster를 누르면 안의 신호가 한 번에 확인됩니다. 묶음을 풀 수도 있습니다. 잘못 들어간 신호를 클러스터에서 빼거나, 서로 다른 두 패턴이 합쳐진 클러스터를 나눕니다.클러스터의 변화
새 신호가 들어오면 클러스터도 시간에 따라 바뀝니다.- 병합 따로였던 두 클러스터가 같은 근본 문제로 드러남.
- 분할 두 문제가 섞인 클러스터를 패턴이 분명해지면 나눔.
- 성장 새 신호가 합류.
- 은퇴 30일 동안 새 신호가 없으면 클러스터를 보관함(그래도 조회는 됨).
클러스터 우선순위
Nora가 예상 영향을 대략 따져 클러스터 순위를 매깁니다.- Severity × Frequency × Recency = 우선순위 점수.
- 사용자 중요도로 보정(스코프에
tier필드가 있으면 상위 티어 사용자를 올림). - 회귀 여부로 보정(회귀는 올림).
클러스터 올리기
클러스터에서 우클릭 → Create Improvement를 누릅니다. 개선 플로우가 클러스터 전체 맥락, 즉 모든 신호와 근본 원인 가설, 샘플 실패를 안고 시작하므로, 제안이 낱개가 아니라 패턴에 근거하게 됩니다. 신호에서 수정까지를 참고하세요.클러스터와 데이터셋
확인한 클러스터에서 Save as dataset을 누르면 신호가 테스트 케이스가 됩니다.- 신호 하나하나가 입력-출력 예시가 됩니다.
- 교정(있다면)이 기대 출력이 됩니다.
- 데이터셋이 곧바로 시뮬레이션에 쓸 수 있게 됩니다.