리트리벌 진단

리트리벌에서 가장 흔한 물음은 이겁니다. “이 문서에 답이 있는 걸 아는데, Agent는 왜 못 찾지?” Diagnostics 도구가 파이프라인을 거꾸로 짚어 무엇이 어긋났는지 찾아 줍니다.

​

Diagnostics 열기

들어가는 곳이 둘입니다.

• 트레이스에서 리트리벌 스텝 아무 데서나 “Diagnose retrieval” 을 누릅니다. 실제로 쓴 쿼리와 프리셋을 불러옵니다.
• 문서에서 지식의 청크를 우클릭 → “Test retrievability” 를 누릅니다. 그걸 찾아야 할 쿼리를 흉내 냅니다.

​

Diagnostics가 보여주는 것

쿼리와 기대 청크에 대해 Diagnostics가 이렇게 답합니다.

1. 청크가 인덱스에 있나? 먼저 확인합니다. 없으면 파이프라인을 보세요(Clean에서 걸렸나? 청커가 건너뛰었나?).
2. 필터가 뺐나? 필터 세트를 보여주고 청크가 통과하는지 알려 줍니다.
3. 벡터 점수는? 쿼리와 청크의 코사인 유사도입니다. 낮으면(0.2 미만) 의미가 안 맞는 것입니다. 청크가 쿼리와 “뜻이 다른” 거죠.
4. 키워드 점수는? BM25 점수입니다. 낮으면 쿼리에 청크의 단어가 없다는 뜻입니다(동의어를 더해 보세요).
5. 융합 순위는? 청크가 top 50에서 어디쯤인지.
6. 리랭커가 버렸나? 리랭킹이 켜져 있었고 top K 밖으로 밀렸는지.
7. 그라운딩이 버렸나? 그라운딩이 켜져 있었고 청크가 그래프와 부딪혔는지.

​

흔한 실패와 해결

​

대규모 수정

진단이 여러 쿼리에서 같은 근본 원인을 계속 가리키면, 그게 신호입니다. 개선 플로우(최적화 참고)가 되풀이되는 리트리벌 미스를 새 태그, 프리셋 변경, 청커 조정 제안으로 바꿔 줍니다.

​

리트리버빌리티 테스트

“기대하는” 청크-쿼리 쌍 묶음을 Retrievability test로 저장합니다. CI(또는 수동)에서 돌립니다. top-K가 예전에 담던 청크를 더는 안 담으면 실패합니다. 좋은 습관이 있습니다. “X를 왜 못 찾지” 문제를 고칠 때마다, 그 수정이 회귀하지 않도록 리트리버빌리티 테스트를 하나 더해 두세요.