nora pipelines

파이프라인은 파운더리 표면입니다. 인제스트, 클린, 청크, 강화, 인덱스로 이어집니다. CLI는 시각적 캔버스를 그대로 반영합니다. 모든 노드, 모든 엣지, 모든 스케줄 실행을 스크립트로 다룰 수 있습니다. 파이프라인 한살이는 flows 다음으로 큰 CLI 표면입니다. Flow에는 flows use가 있고, 파이프라인은 ID로 따로 참조합니다.

명령 그룹

CRUD: pipelines list/get/create/update/delete
노드: pipelines nodes add/list/update/remove
엣지: pipelines edges connect/list/update/delete
스케줄: pipelines schedule set/clear
실행: pipelines dry-run, pipelines run file/document/folder
프로그램 호출: pipelines invoke, pipelines rotate-secret
블록: pipelines blocks test/ingest-local
팔레트 조회: pipelines palette, pipelines block
배포: pipelines publish/rollback, pipelines publications list/live
로그: pipelines logs list/get
한꺼번에: pipelines sync
클라우드 인제스트: pipelines ingest-cloud

파이프라인 CRUD

List / get

nora pipelines list
nora pipelines get p_billing_ingest

list는 파이프라인당 한 줄입니다. get은 전체 메타데이터와 노드·엣지를 출력합니다.

Create

nora pipelines create \
  --name "Billing ingest" \
  --stages source,clean,chunk,enrich,output \
  --vector-store qdrant

플래그:

--name(필수) 표시 이름
--stages(필수) 순서대로 스테이지 이름 쉼표 목록
--id <id> 명시 ID(선택). 안 주면 서버가 발급
--vector-store pgvector|qdrant 출력 스테이지의 인덱스 백엔드

Update

nora pipelines update p_billing_ingest \
  --set-name "Billing ingest (v2)" \
  --set-vector-store qdrant

--set-name <n>, --set-stages <s,…>, --set-vector-store <backend>

Delete

nora pipelines delete p_billing_ingest

노드와 엣지가 함께 지워집니다. 라이브 파이프라인 버전은 유예 기간 동안 ID로 접근됩니다.

노드

노드는 파이프라인 캔버스의 낱개 블록입니다. 팔레트 항목(src_local, chunk_markdown, embed_openai 등)마다 노드 인스턴스가 됩니다.

List

nora pipelines nodes list p_billing_ingest

모든 노드를 JSON으로 출력합니다.

Add

nora pipelines nodes add p_billing_ingest \
  --palette-id chunk_markdown \
  --stage chunk \
  --title "Chunk markdown" \
  --icon scissors \
  --tone default \
  --order 2 \
  --config '{"max_tokens": 400, "overlap": 50}'

플래그:

--palette-id(필수) 팔레트 항목 ID
--stage(필수) 어느 파이프라인 스테이지
--title, --icon, --tone(필수) 표시
--order(필수) 스테이지 안 시각 순서
--id <id> 명시 ID. 생략하면 서버가 발급
--sublabel <text> 제목 아래 작은 캡션
--config <json> 블록별 설정
--notes <text> 자유 텍스트 노트
--output-ports <json> 팔레트의 기본 출력 포트 덮어쓰기

Update

nora pipelines nodes update n_chunk \
  --set-config '{"max_tokens": 600, "overlap": 100}' \
  --set-title "Chunk (더 길게)"

--set-* 플래그: --set-title, --set-sublabel, --clear-sublabel, --set-stage, --set-order, --set-config, --set-notes, --clear-notes, --set-output-ports.

Remove

nora pipelines nodes remove n_chunk

엣지

List / connect / update / delete

nora pipelines edges list p_billing_ingest
nora pipelines edges connect p_billing_ingest --from-node-id n_source --to-node-id n_chunk
nora pipelines edges update e_abc --set-label "raw markdown"
nora pipelines edges delete e_abc

connect 플래그: --from-node-id, --to-node-id(필수), --id <id>, --from-port <port>, --label <text>.

스케줄

Set

nora pipelines schedule set p_billing_ingest \
  --cron "0 2 * * *" \
  --tz Asia/Seoul \
  --target billing \
  --sample 100

--cron <expr> 5필드 cron
--tz <IANA> 타임존
--target <tag> 실행마다 처리할 폴더 태그
--sample <n> 스케줄 실행당 항목 상한

넘긴 플래그만 바뀝니다. --cron을 생략하면 지금 것을 유지합니다. 예를 들어 타겟만 바꿉니다.

Clear

nora pipelines schedule clear p_billing_ingest

모든 스케줄 필드를 지웁니다. 파이프라인이 수동 전용이 됩니다.

파이프라인 실행

인라인 텍스트에 dry-run

nora pipelines dry-run p_billing_ingest --input "이건 테스트 문서."
# 또는 파일에서:
nora pipelines dry-run p_billing_ingest --input @sample.md
# 또는 stdin에서:
cat sample.md | nora pipelines dry-run p_billing_ingest --input -

준 텍스트에 파이프라인을 처음부터 끝까지 돌리되 출력은 저장하지 않습니다. 스테이지별 결과를 출력합니다.

파일에 실행

nora pipelines run file p_billing_ingest --file ./contract.pdf

파일을 multipart로 올리고 파이프라인을 돌립니다.

저장된 문서에 실행

nora pipelines run document p_billing_ingest --document-id doc_abc

이미 라이브러리에 있는 문서에 돌립니다.

폴더에 실행

nora pipelines run folder p_billing_ingest --tag billing --max-documents 500

billing 태그가 붙은 모든 문서에 돌립니다(--max-documents까지).

프로그램 호출

`invoke`: API 트리거 부르기

# 리터럴 입력
nora pipelines invoke p_billing_ingest --input "some text"

# 파일에서 JSON 입력
nora pipelines invoke p_billing_ingest --input @request.json

# 실행 단위 변수 오버라이드 + idempotency
nora pipelines invoke p_billing_ingest \
  --input @request.json \
  --variables '{"target":"eu"}' \
  --idempotency-key inv_2026_09_01_a

# 배포 전에 DRAFT 로 반복
nora pipelines invoke p_billing_ingest --input @sample.json --test

공용 엔드포인트에 curl /foundry/:apiSlug 을 치는 것과 같은 프로그램 호출입니다(트리거별 인증은 워크스페이스 PAT 로 갈음). 비동기입니다. runId + statusUrl 을 즉시 돌려주고, 백그라운드 executor 가 DAG 를 굴립니다. 플래그:

--input <JSON|@file|-> 페이로드. - 은 stdin, @file 은 파일, {/[ 로 시작하면 JSON 파싱, 그 외는 JSON 문자열로 감쌉니다.
--variables <JSON|@file|-> 실행 단위 Flow 변수 오버라이드. 파이프라인 기본값 위에 덮이고, 모르는 키는 무시합니다.
--idempotency-key <string> 중복 방지 키. 같은 키 → 같은 runId(새 실행 없음).
--test 배포된 스냅샷 대신 현재 DRAFT 그래프로 실행. “publish 먼저” 게이트를 우회합니다. 반복 중에 쓰고, 외부에 내보내기 전에 publish 하세요.

`rotate-secret`: API 트리거의 인바운드 토큰 로테이션

nora pipelines rotate-secret p_billing_ingest --node n_api_trigger

한 trg_http_api 노드의 apiAuthSecret 을 로테이션합니다. DRAFT 와 (파이프라인이 라이브 배포 중이면) 그 트리거의 시크릿만 갈아 낀 새 라이브 버전이 원자적으로 함께 앉습니다. 반환되는 순간부터 외부 호출은 401 입니다. 평문 토큰이 stdout 에 딱 한 번 뜹니다. 곧바로 저장하세요(시크릿 매니저·볼트). 다시 보여 주는 경로는 없습니다.

블록 하나 테스트

nora pipelines blocks test \
  --palette-id chunk_markdown \
  --input "# 헤딩\n\n일부 콘텐츠..." \
  --config '{"max_tokens": 200}'

팔레트 블록 하나를 떼어 테스트합니다. 파이프라인이 필요 없습니다. 청커나 강화기 설정을 반복해 볼 때 좋습니다. 돌고 있는 파이프라인의 src_local 노드용:

nora pipelines blocks ingest-local n_source

로컬 파일시스템 스캔을 시작합니다.

팔레트 조회

`palette`: 팔레트 ID 나열

# 코어 스테이지만 (기본값, 버티컬 항목 숨김)
nora pipelines palette

# 스테이지 한 종류만
nora pipelines palette --stage normalize

# 폐기됐지만 아직 받는 것들
nora pipelines palette --stage legacy

# 의료·보험·SaaS 버티컬 항목까지 전부
nora pipelines palette --profile generic

# 원본 MCP 응답
nora pipelines palette --json

파이프라인 빌더가 아는 모든 팔레트 id. 6-스테이지 그룹 + 폐기됐지만 아직 받는 legacyHidden 항목. id 컬럼을 nora pipelines nodes add 의 --palette-id 에 그대로 씁니다. --config JSON 을 쓰기 전에 pipelines block 으로 config 모양을 먼저 보세요. 플래그:

--stage <stage> 스테이지 한 종류로 좁힘. legacy 도 받습니다.
--profile core|generic core(기본) 는 medical·insurance·saas 버티컬 항목을 숨기고, generic 은 전부 보여 줍니다.

`block`: 팔레트 id 하나의 스키마

nora pipelines block src_web
nora pipelines block norm_chunk --json

Inspector 가 렌더링하는 config-form 스키마를 출력합니다. 필드·기본값·옵션·프리셋을 보여 줍니다. nora pipelines nodes add 의 --config 페이로드를 짜기 전에 이걸로 키를 확인하세요.

파이프라인 배포

파이프라인도 Flow처럼 버전으로 관리·배포됩니다.

Publish

nora pipelines publish p_billing_ingest \
  --summary "chunker: max_tokens 400 -> 600" \
  --author-label "paul"

DRAFT를 라이브 버전으로 얼립니다. 스케줄 실행과 하류 소비자가 라이브 버전을 씁니다.

Rollback

nora pipelines rollback p_billing_ingest 5

라이브 포인터를 버전 seq=5로 옮깁니다.

Publications

nora pipelines publications list p_billing_ingest
nora pipelines publications live p_billing_ingest

list가 이력을 표시합니다. live가 지금 라이브 페이로드를 가져옵니다.

로그

실행 나열

nora pipelines logs list p_billing_ingest \
  --status ok \
  --since 2026-07-01 \
  --limit 20

필터:

--status ok|error
--search <text> 로그 페이로드 전문 검색
--since <ISO> / --until <ISO>
--run-kind <kind> 어느 진입점으로 필터
--limit <n> 최대 줄
--json 기계가 읽을 수 있게

하나 가져오기

nora pipelines logs get p_billing_ingest log_abc

실행 하나의 전체 스테이지별 세부입니다.

한꺼번에 sync

nora pipelines sync p_billing_ingest --file ./pipelines/billing.json

JSON 파일에서 파이프라인의 이름·스테이지·노드·엣지를 교체합니다. 멱등입니다. 배포마다 CI에서 돌려도 안전합니다.

클라우드 인제스트

nora pipelines ingest-cloud p_billing_ingest n_gdrive_source

src_cloud 노드(Google Drive, S3 등)용 수동 대량 인제스트를 시작합니다. 아니면 스케줄로만 돌아갑니다.

레시피

스크립트 하나로 최소 파이프라인 부트스트랩

P=$(nora pipelines create --name "Docs ingest" --stages source,chunk,enrich,output | jq -r '.id')

nora pipelines nodes add $P --palette-id src_local --stage source --title "Local" --icon folder --tone default --order 1
nora pipelines nodes add $P --palette-id chunk_markdown --stage chunk --title "Chunk MD" --icon scissors --tone default --order 1
nora pipelines nodes add $P --palette-id embed_openai --stage enrich --title "Embed" --icon spark --tone default --order 1
nora pipelines nodes add $P --palette-id out_pgvector --stage output --title "Index" --icon database --tone default --order 1

# 배선 (노드 ID 필요. add에서 캡처)
# ...

nora pipelines publish $P --summary "초기"

CI: git에서 파이프라인 sync

nora pipelines sync p_docs_ingest --file pipelines/docs.json
nora pipelines publish p_docs_ingest --summary "$(git log -1 --pretty=%s)"

가장 최근 실패 실행 가져오기

nora pipelines logs list p_billing_ingest --status error --limit 1 --json | jq '.[0]'

유지보수 위해 스케줄 끄기

nora pipelines schedule clear p_billing_ingest
# 유지보수...
nora pipelines schedule set p_billing_ingest --cron "0 2 * * *" --tz Asia/Seoul --target billing

​명령 그룹

​파이프라인 CRUD

​List / get

​Create

​Update

​Delete

​노드

​List

​Add

​Update

​Remove

​엣지

​List / connect / update / delete

​스케줄

​Set

​Clear

​파이프라인 실행

​인라인 텍스트에 dry-run

​파일에 실행

​저장된 문서에 실행

​폴더에 실행

​프로그램 호출

​invoke: API 트리거 부르기

​rotate-secret: API 트리거의 인바운드 토큰 로테이션

​블록 하나 테스트

​팔레트 조회

​palette: 팔레트 ID 나열

​block: 팔레트 id 하나의 스키마

​파이프라인 배포

​Publish

​Rollback

​Publications

​로그

​실행 나열

​하나 가져오기

​한꺼번에 sync

​클라우드 인제스트

​레시피

​스크립트 하나로 최소 파이프라인 부트스트랩

​CI: git에서 파이프라인 sync

​가장 최근 실패 실행 가져오기

​유지보수 위해 스케줄 끄기

명령 그룹

파이프라인 CRUD

List / get

Create

Update

Delete

노드

List

Add

Update

Remove

엣지

List / connect / update / delete

스케줄

Set

Clear

파이프라인 실행

인라인 텍스트에 dry-run

파일에 실행

저장된 문서에 실행

폴더에 실행

프로그램 호출

`invoke`: API 트리거 부르기

`rotate-secret`: API 트리거의 인바운드 토큰 로테이션

블록 하나 테스트

팔레트 조회

`palette`: 팔레트 ID 나열

`block`: 팔레트 id 하나의 스키마

파이프라인 배포

Publish

Rollback

Publications

로그

실행 나열

하나 가져오기

한꺼번에 sync

클라우드 인제스트

레시피

스크립트 하나로 최소 파이프라인 부트스트랩

CI: git에서 파이프라인 sync

가장 최근 실패 실행 가져오기

유지보수 위해 스케줄 끄기