업무 평가로 Bedrock 모델 선택하기
같은 업무 부하로 품질, 지연, 권한 조건, 비용을 비교하고 변경 및 복구 근거를 정합니다.
모델 선택 전에 비교 방법 만들기
일반 요청, 긴 문서, 모호한 질문, 금지 요청을 포함한 버전 관리 데이터셋을 준비합니다. 기대 결과와 채점 기준을 정합니다. 후보마다 프롬프트, 참조 문서, 출력 상한을 동일하게 유지합니다. 그렇지 않으면 저렴한 요청은 단지 문맥이 적거나 답변이 짧았던 것일 수 있습니다.
정확한 모델 ID 또는 추론 프로필, 리전, API, 날짜를 기록합니다. 허용 처리 지역이나 이미지 입력 같은 필수 조건과 응답 문체 같은 선호를 구분합니다. 필수 조건을 만족하지 못하는 후보를 먼저 제외한 뒤 품질을 비교합니다.
전체 업무 측정하기
| 지표 | 기록할 내용 | 판단 용도 |
|---|---|---|
| 품질 | 정확성, 인용의 뒷받침, 적절한 거절 | 업무에 사용할 수 있는지 |
| 지연 | 검색을 포함한 첫 token과 답변 완료 시간 | 사용자가 흐름을 완료할 수 있는지 |
| 비용 | 입력·출력·캐시 범주, 도구 및 검색 비용 | 합격한 업무 한 건의 비용 |
| 신뢰성 | 제한, 시간 초과, 불완전한 결과 | 용량 및 대체 처리 설계 |
좁은 업무에 대형 모델이 불필요할 수 있고 소형 모델이 재시도나 수동 수정 비용을 늘릴 수도 있습니다. token 단가뿐 아니라 합격한 결과당 총비용을 비교합니다.
기준 구성이 작동한 뒤 라우팅 도입하기
측정 가능한 기본 구성에서 시작합니다. 평가를 통과한 업무에는 가벼운 경로를, 명확한 예외에는 상위 경로를 추가합니다. 대체 모델도 같은 데이터 경계와 출력 규약을 충족해야 합니다. 승인된 처리 위치가 바뀐다면 장애 시 다른 공급사로 조용히 전환해서는 안 됩니다.
평가 결과물에는 데이터셋 버전, 결과, 제외 이유, 선택한 구성, 변경 조건을 기록합니다. 모델, 프롬프트, 검색이 바뀌면 관련 샘플을 다시 실행하고 되돌릴 구성을 보관합니다.
공식 참고 자료
문서 확인일: 2026년 10월 17일. 이 글은 참고 지침이며 작성 과정에서 클라우드 API를 호출하지 않았습니다.