데이터셋 만들기

​

프로덕션 트레이스에서

• Trace-as-example 트레이스 전체가 예시가 됩니다. 입력은 원래 입력이고, 기대 출력은 그때 나온 답입니다(“있는 그대로 담기” 로 표시).
• Corrected-example 답이 어땠어야 하는지로 기대 출력을 고칩니다.

​

신호 클러스터에서

• 신호마다 그 트레이스가 예시가 됩니다.
• 신호에 텍스트 교정이 있으면 그게 기대 출력이 됩니다.
• 없으면 “needs review” 로 표시됩니다. 시뮬레이션을 돌리기 전에 주석을 답니다.

​

파일에서

input,expected_output,tags
"비밀번호 어떻게 재설정해요?","Settings → Security → Reset Password로 가세요","auth,customer"
"인보이스는 언제 만기예요?","인보이스는 매달 1일 만기입니다","billing,customer"

{"input":{"question":"reset password"},"expected":{"answer":"..."},"tags":["auth"]}

​

맨땅에서

​

여러 턴 예시

• 예시 하나가 대화(턴 목록)입니다.
• 턴마다 기대 입력과 기대 출력이 있습니다.
• 시뮬레이션이 대화를 재생하며 턴마다 채점합니다.

{"conversation":[
  {"role":"user","content":"..."},
  {"role":"assistant","content":"expected answer"},
  {"role":"user","content":"follow-up"},
  {"role":"assistant","content":"expected answer 2"}
]}

​

태그와 묶기

• Feature 어느 제품 기능을 시험하는지.
• Difficulty easy / medium / hard.
• Source 예시가 온 곳(prod, synthetic, hand-crafted).
• Language 다국어 커버리지용.

​

예시별 메타데이터

• Scope 테넌트별/사용자별 동작을 시험.
• 딸린 컨텍스트 세션 메모리, 이전 턴, 기능 플래그.
• Notes 리뷰어를 위한 자유 텍스트.

​

임포트한 뒤 편집