실행 로그

파이프라인 실행은 수동이든 스케줄이든 워치든 웹훅이든 모두 기록됩니다. Run logs 페이지에서 맨 위 요약부터 항목 하나가 단계마다 어떻게 흘러갔는지까지 파고들 수 있습니다.

​

실행 목록

파이프라인의 실행 목록은 이렇게 보여줍니다.

• Started at 시작 시각.
• Duration 전체 벽시계 시간.
• Status success / partial / failed / running.
• Items in / out 소스 항목이 몇 개 들어왔고 청크가 몇 개 쓰였는지.
• Cost 전체 지출(임베딩, LLM 강화기, 모델 호출).

날짜 범위, 상태, 트리거 종류로 거릅니다.

​

실행 파고들기

실행을 누르면 단계별로 나뉩니다.

• Trigger 무엇이 실행을 걸었는지(런 페이로드와 함께).
• Source 끌어온 항목, 크기, 캐시 적중.
• Clean 버린 수, 지운 통계.
• Normalize 소스 항목마다 만든 청크.
• Enrich 강화기별 시간과 비용.
• Output 목적지별 쓰기.

단계마다 블록별 타이밍을 보여줘 느린 부분을 짚을 수 있습니다. 단계가 길다고 반드시 고장은 아닙니다. 좋은 파이프라인도 시간 대부분을 임베딩에 쓸 수 있으니까요.

​

항목 단위 뷰

파이프라인에 들어온 항목마다 처음부터 끝까지 살필 수 있습니다.

• 원시 소스(너무 크면 해시).
• Clean 단계가 무엇을 했는지(무엇을 지우고 무엇을 걷었는지).
• Normalize가 어떤 청크를 만들었는지.
• Enrich가 어떤 메타데이터를 더했는지.
• Output 스토어 어디에 놓였는지(또는 왜 건너뛰었는지).

“이 문서가 왜 리트리벌에 안 나오지?” 를 디버깅할 때 좋습니다.

​

에러

에러는 단계 뷰에서 빨간 항목으로 뜹니다. 흔한 것들은 이렇습니다. 에러를 누르면 전체 스택과 그걸 부른 정확한 입력이 나옵니다.

​

다시 돌리기

두 종류입니다.

• Rerun (from cache) 소스 내용이 바뀐 항목만 다시 처리합니다. 빠릅니다. 기본입니다.
• Rerun (ignore cache) 전부 다시 처리합니다. 파이프라인 로직이 바뀌어 통째로 다시 만들고 싶을 때 씁니다.

​

알림

파이프라인마다 알림을 정합니다.

• On failure Slack / 이메일 / 웹훅에 올립니다.
• On threshold 버린 항목 X% 초과, 비용 $Y 초과, 소요 Z분 초과.
• On silence 예상한 스케줄을 놓쳤을 때.

알림은 워크스페이스 Notifications 설정을 거쳐 나갑니다.

​

보존

실행 로그는 기본 90일 보관합니다. 메타데이터(소요, 개수, 비용)는 1년 보관합니다. 원시 소스 스냅샷은 파이프라인의 페이로드 보존 설정을 따릅니다.