nora traces

​

명령

​

traces list

nora traces list \
  --flow support-agent \
  --status completed \
  --from 2026-07-01 \
  --limit 50

​

필터

• --status pending|running|completed|error 실행 상태.
• --needs-review 사람 리뷰로 플래그된 트레이스만.
• --search <text> 프롬프트·도구 인자·도구 응답·답변 전문 검색.
• --from <YYYY-MM-DD> / --to <YYYY-MM-DD> 날짜 범위.
• --flow <slug> 한 Flow로 좁힘.
• --verdict <verdict> 검증 판정으로 필터: SUPPORT, PARTIALLY_SUPPORTED, NOT_SUPPORT, unverified.
• --limit <n> 최대 줄. 기본 50.
• --page <n> 페이지네이션, 1부터.

​

traces get

nora traces get tr_abc

• 오프라인 리뷰용 저장: nora traces get tr_abc > trace-tr_abc.json.
• 도구 호출만 뽑기: nora traces get tr_abc | jq '.spans[] | select(.kind=="tool")'.
• 두 실행 diff: diff <(nora traces get tr_a) <(nora traces get tr_b).

​

traces verify

nora traces verify tr_abc

• --decompose-model <m> 주장 분해에 쓰는 모델 덮어쓰기.
• --verify-model <m> 주장 검사에 쓰는 모델 덮어쓰기.

​

traces verification

nora traces verification tr_abc

• SUPPORT 모든 주장이 리트리벌한 증거로 뒷받침됨.
• PARTIALLY_SUPPORTED 일부는 뒷받침, 일부는 아님.
• NOT_SUPPORT 답변을 뒷받침할 근거를 못 찾음.
• unverified 검증을 안 걸었음.

​

traces stats

nora traces stats

• 총 트레이스(전체 기간과 최근 24시간).
• Flow 별 트레이스.
• 판정 분포.
• 에러율.

​

레시피

​

한 Flow의 최근 실패 찾기

nora traces list \
  --flow support-agent \
  --status error \
  --from $(date -v-7d +%Y-%m-%d) \
  --limit 100

​

야간: 검증 안 한 트레이스에 검증기 돌리기

nora traces list --verdict unverified --status completed --limit 500 --json \
  | jq -r '.[].id' \
  | while read id; do
      nora traces verify "$id"
    done

​

주간 리포트: NOT_SUPPORT 율

total=$(nora traces list --from $(date -v-7d +%Y-%m-%d) --json | jq 'length')
notsupport=$(nora traces list --from $(date -v-7d +%Y-%m-%d) --verdict NOT_SUPPORT --json | jq 'length')
echo "NOT_SUPPORT 율: $notsupport / $total"

​

오프라인 분석용 트레이스 대량 다운로드

mkdir -p traces-export
nora traces list --from 2026-07-01 --limit 1000 --json | jq -r '.[].id' \
  | while read id; do
      nora traces get "$id" > "traces-export/$id.json"
    done

​

트레이스를 신호에 붙이기

​

트레이스 보존

​

관련

• 트레이스 개요 개념.
• nora feedback 트레이스에 피드백 붙이기.
• nora approvals 사람을 기다리는 실행의 승인 결정.