어떤 때 쓰면 좋을까요?
프롬프트를 고친 뒤 예시 하나만 보고 좋아졌다고 판단하면 다른 질문에서 문제가 생길 수 있습니다. Promptfoo는 같은 테스트 사례로 여러 프롬프트와 모델의 응답을 비교하는 데 사용할 수 있습니다. 레드팀 기능으로 악용 가능성이 있는 입력을 시험하는 흐름도 제공합니다.
먼저 실제 작업을 대표하는 정상 사례와 오류 사례를 소수로 정리하세요. 답변 형식, 정답 조건과 실패 기준을 정하고 실행하면 비교 기준이 명확해집니다. 평가용 호출에도 모델 비용이 들 수 있고 자동 평가 결과는 사람이 검토해야 합니다.