리트리벌 진단

리트리벌에서 가장 흔한 물음은 이겁니다. “이 문서에 답이 있는 걸 아는데, Agent는 왜 못 찾지?” 리트리벌 화면이 진단 도구입니다. 쿼리를 직접 돌려 점수를 뜯어보고, 평가 세트로 회귀를 막습니다.

​

쿼리 하나 뜯어보기

리트리벌 화면에서 문제의 쿼리를 넣고 Run을 누릅니다.

• 왼쪽 결과 목록에서 기대한 청크가 몇 위인지, 유사도 점수가 얼마인지 봅니다.
• 결과를 선택하면 오른쪽에 전체 청크, 인접 청크, 메타데이터가 뜹니다. 여기서 유사 항목 찾기, 원본 파일 열기, 문서로 이동, 리파이너리 열기로 원인을 바로 쫓아갑니다.
• 검색 방식을 벡터로만, 키워드로만 바꿔 가며 같은 쿼리를 다시 돌려 보세요. 어느 쪽에서 안 잡히는지 보면 쿼리와 문서의 뜻이 먼 건지, 겹치는 단어가 없는 건지 구분할 수 있습니다.

​

흔한 실패와 해결

​

평가 세트

한 번 고친 쿼리가 다시 무너지지 않게 “기대하는” 쿼리 묶음을 비교 → 평가 세트에 저장해 둡니다.

1. [추가] 버튼을 누르고 쿼리, 포함해야 할 문구, 카테고리(선택), 메모(선택)를 넣습니다. 대량이면 CSV로 가져옵니다.
2. [전체 실행] 버튼을 누르면 모든 항목을 지금 프리셋으로 돌려, 기대 문구가 결과에 들었는지 통과/실패로 표시합니다.
3. 카테고리·상태 필터로 실패만 추려 봅니다.

“X를 왜 못 찾지” 문제를 하나 고칠 때마다 평가 항목도 하나 추가해 두세요. 나중에 같은 문제가 다시 생겨도 평가 세트가 바로 잡아냅니다. 프리셋을 바꿀 때도 비교 모드에서 평가 세트를 먼저 돌려 보면 안전합니다.