왜 청킹을 하나
리트리벌은 쿼리와 가장 관련 있는 작은 콘텐츠 조각을 찾아냅니다. 200페이지 PDF 통째로는 너무 굵어서 관련 없는 부분이 신호를 덮고, 문장 하나는 너무 잘아서 맥락을 잃습니다. 청크가 그 사이의 알맞은 단위입니다.Chunk
나머지 설정은 이렇습니다.
- 청크 크기 기본 512 tokens. 고정 방식이 아니면 근사값으로 씁니다.
- 겹침 기본 64 tokens. 앞 청크의 끝을 다음 청크 앞머리에 다시 넣어, 쿼리가 경계에 걸릴 때 리콜이 좋아집니다.
- 구분자 (재귀) 기본
\n\n,\n,.,?,!. 쉼표로 구분하고 순서대로 적용합니다. - 의미 기반 임계값 기본 0.7. 의미 기반 분할에서만 씁니다. 낮추면 조각이 커지고 올리면 잘게 나뉩니다.
- 문장 중간에서 자르지 않기 기본 켜짐
- 표를 온전히 유지 기본 켜짐. 표가 청크 경계에서 쪼개지지 않습니다.
청크 타이핑 프로파일
색인 단계에서 청크마다 타입(개념·정의·예시 등) 라벨을 붙여 두면 리트리벌이 필요한 타입만 골라 볼 수 있습니다. 인스펙터의 청크 타이핑 프로파일 드롭다운에서 워크스페이스에 등록해 둔 프로파일을 고르고, 비우면 워크스페이스 기본을 씁니다. 목록에서 + 새 프로파일로 즉시 만들거나 기존 프로파일을 인라인으로 편집할 수도 있습니다. [설정] 화면으로 이동하지 않고 이 자리에서 도메인별 타입 세트를 정할 수 있습니다.변환 노드
Clause split
보험 약관·법률 문서를 조(條)·항(項) 단위로 나눕니다. 한국 보험 약관 PDF라면 Granularity를 Article로 두어 조 안의 세부 기호가 함께 묶이게 하세요. 최대·최소 조항 토큰으로 너무 짧은 조항을 이어 붙일 수 있고, 정의된 용어 참조에 태그를 달 수도 있습니다. Chunk 노드와 마찬가지로 청크 타이핑 프로파일을 인라인으로 골라 조항마다 타입 라벨을 붙일 수 있습니다.Translate
항목을 다른 언어로 번역합니다. Source 언어는 자동 감지가 기본이고, 모델은 Settings → 외부 LLM에서 옵니다. 비우면 워크스페이스 기본 모델을 씁니다.Summarize
항목마다 요약을 만듭니다. Style(LLM 재작성), 최대 길이, 모델을 정합니다.Markdown
OCR로 뽑은 텍스트를 깨끗한 마크다운으로 바꿉니다. 제N조·제N장, Article N, 개요 번호(1. / 1.1)를 헤딩으로 인식하고, 표와 목록을 보존하며, OCR이 줄 끝 하이픈으로 쪼갠 단어를 다시 이어 붙입니다.Table fix
PDF 에서 깨진 표를 고칩니다. 잘린 행을 이어 붙이고, 붙어 버린 셀을 다시 나눕니다. 결정론적 스티칭·분리는 언제나 그대로 돌고, 그것만으로 애매한 표가 남으면 **LLM 보정 모델(선택)**을 지정해 재구성할 수 있습니다. 복잡한 표에는 비전/VLM 모델이 잘 맞고, 비워 두면 토큰을 쓰지 않고 결정론만 씁니다.Form fields
신청서 같은 양식에서 키-값 쌍을 신뢰도와 함께 뽑아냅니다. 레이아웃을 이해하는 OCR 엔진을 쓰고, 필드 이름을 배치에서 추론하게 할 수 있습니다.Structured
HTML, 마크다운, JSON, CSV를 하나의 통일된 모양으로 바꿉니다. Preserve structure를 끄면 순수 텍스트로 평탄화하고, 켜면 트리를 유지합니다.Sub-pipeline
다른 정제라인을 노드처럼 놓아 참조합니다. 반복되는 처리 흐름을 한 정제라인으로 묶어 두고 여기서 부르는 식입니다. 여러 노드를 골라 캔버스에서 Sub-pipeline 으로 묶는 조작(Cmd+Shift+G) 으로 새 정제라인이 뽑히고 원 자리에 참조 노드가 놓입니다.
현재 Sub-pipeline 참조는 자리표시자입니다. 실제 실행은 참조된 정제라인 탭에서 직접 돌려야 하고, 인스펙터의 Open sub-pipeline 버튼으로 이동합니다.
분기·병합은 노드가 아니라 엣지·인스펙터에서
한 노드에서 여러 하류로 나가는 분기, 여러 상류에서 하나로 모이는 병합은 별도 노드가 아니라 다음과 같이 처리합니다.- 분기 노드 인스펙터의 고급 → 흐름 제어에서
dispatch=routed를 선택하면 라우팅 키에 따라 하류 갈래 중 하나로 보냅니다. 각 아웃고잉 엣지에 라벨을 붙여 어떤 값일 때 그 엣지로 갈지 정합니다. - 병합 한 노드에 여러 상류 엣지가 들어오면 런타임이 자동으로 페이로드를 합쳐 그 노드에 전달합니다.