요약
트레이스 맨 위에 이렇게 나옵니다.- Total cost 달러 금액, 모델별 토큰 수.
- Total latency 답변을 보낼 때까지 걸린 벽시계.
- Compute 모든 모델과 도구 시간의 합(대기 제외).
- Wait 외부 서비스(API, 데이터베이스, Approvals 큐의 사람)를 기다린 시간.
스텝별 내역
타임라인의 스텝마다 비용과 소요를 따로 보여줍니다. 비용 컬럼 헤더를 누르면 가장 비싼 스텝부터 봅니다. 비용이 높을 때 흔한 범인은 이렇습니다.- 긴 프롬프트 리트리벌이 청크를 너무 많이 돌려줍니다. 프리셋에서 top-K를 줄이세요.
- 비싼 모델 중간 티어면 될 걸 최상위 티어로 씁니다. 폴백이나 라우터를 생각해 보세요.
- 도구 호출 반복 Agent가 같은 도구를 돕니다. 도구 설명이나 Agent 역할을 손보세요.
- 그때그때 강화 파운더리 파이프라인으로 미리 계산해 둘 걸 실행마다 합니다.
지연 워터폴
워터폴 뷰(위쪽 바의 Timing 클릭)가 지연을 병렬 막대로 보여줍니다. 임계 경로에 없는 것은 나중에 손봐도 안전합니다. 계산에 매인 스텝은 실선 막대, 대기에 매인 스텝은 빗금 막대입니다. 실행 중간의 대기 막대는 대개 Agent 도구 설정에서 병렬로 돌릴 수 있는, 줄줄이 이어진 API 호출입니다.실행 비교
트레이스에서 **Compare with…**를 누르고 다른 트레이스(같은 Flow, 다른 실행)를 고릅니다. 지연과 비용을 나란히 봅니다. 이럴 때 좋습니다.- 지연이 튀었는데 어느 스텝이 바뀌었는지 알고 싶을 때.
- 새 버전이 비용을 올렸는데 어디서 그런지 볼 때.
- Agent 둘을 A/B로 견줄 때.
비용 알림
Flow마다 비용 알림을 이런 조건으로 걸 수 있습니다.- 실행 하나가 임계값을 넘음(예: “$1을 넘는 실행이면 무엇이든”).
- 실행당 이동 평균 비용이 N번에 걸쳐 임계값을 넘음.
- 하루/한 주/한 달 총지출이 예산을 넘음.
사용자별 / 테넌트별 비용
실행에 스코프 키가 있으면 Insights 페이지가 스코프별로 비용을 묶어 줍니다.- user_id 별 비용. 누가 가장 비싼지.
- 테넌트별 비용. 어느 고객이 비싼지.
- 기능별 비용(트레이스의 태그로).
지연 예산
Flow마다 지연 예산을 정합니다. 예산을 넘긴 실행은 실행 목록에서 표시됩니다. 흔한 예산은 이렇습니다.- 채팅: 3초.
- 백그라운드: 30초.
- 배치: 5분.