LLM 비용 거버넌스: 실제로 무엇을 측정해야 할까

토큰 단가보다 검수된 업무 결과의 비용을 봅니다

문서 질의 작업에는 검색, 생성, 도구 검증, 재시도 및 사람의 수정이 포함됩니다. 먼저 완료 조건, 실패 담당자, 취소와 시간 초과의 집계 방식을 정합니다. 업무 작업별로 비용을 모아 같은 수준의 사용 가능한 결과를 비교합니다. 공급업체 요청 성공은 업무 검수 통과와 다릅니다.

단일 작업 총비용 공식

C_task = Σ C_model_attempt + C_retrieval + C_tools + C_runtime + C_human
C_model_attempt = (U×p_in + R×p_read + O×p_out + W×p_write) / 1,000,000
C_human = minutes / 60 × hourly_rate
C_per_accepted = batch_total_cost / accepted_task_count

U는 비캐시 입력, R은 캐시 읽기, O는 출력, W는 별도 과금되는 캐시 쓰기이며 단위는 토큰입니다. p는 각 가상 단가로 단위는 USD/백만 토큰입니다. 같은 통화와 배치 범위에서 실제 적용 항목만 더합니다. 쓰기가 입력 요금에 포함됐다면 다시 더하지 않습니다. 검색, 도구, 실행 환경, 인건비도 중복 배분하지 않습니다.

실패한 시도도 분자에 포함하며 분모에는 검수된 작업만 셉니다. 응답을 못 받았다고 사용량이 0은 아닙니다. 공급업체 기록을 먼저 대조하고 공용 캐시나 실행 비용에는 고정된 검증 가능한 배분 규칙을 사용합니다.

설명용 가정: 작업 100개 배치

아래 모든 수치는 설명용 가정입니다. 실제 고객 사례, 클라우드·모델 견적 또는 절감 약속이 아닙니다.

• 작업 100개를 처리하며 완전한 시도마다 입력 2,000, 출력 500토큰을 씁니다. 여기서 실패는 전체 출력 후 업무 검증에 실패한 경우이므로 같은 토큰 비용이 발생합니다.

• 주 모델의 가상 입력/출력 단가는 백만 토큰당 2/8 USD로 시도당 0.004 + 0.004 = 0.008 USD입니다. 검색은 작업당 한 번 0.001 USD이며 재시도는 같은 자료를 재사용합니다. 검증/도구 비용은 시도당 0.0005 USD, 배치에 배분된 실행 비용은 고정 0.080 USD입니다. 표의 인건비는 0입니다.

• 기준에서 첫 시도 20개가 검증에 실패하여 각각 한 번 재시도합니다. 계산 설명을 위해 모든 재시도가 검수되어 최종 100개가 완료된다고 가정합니다. 실제 평가에서 이 결과를 미리 전제하면 안 됩니다.

전체 계산: 저렴한 요청이 더 나은 결과는 아닙니다

캐시

적중 시 입력 1,000토큰을 재사용하며 가상 읽기 단가는 백만 토큰당 0.5 USD입니다. 나머지 입력 1,000은 일반 요금이므로 적중 요청은 0.002 + 0.0005 + 0.004 = 0.0065 USD입니다. 120번 중 콜드 요청 10번, 적중 110번입니다. 10번 각각 1,000토큰을 쓰며 추가 쓰기 단가를 백만 토큰당 1 USD로 가정합니다. 내용과 권한은 같고 첫 실패는 20개로 유지됩니다.

짧은 프롬프트

첫 입력을 1,000으로 줄이고 출력은 500을 유지하여 요청당 0.006 USD입니다. 하지만 제약 누락으로 첫 실패가 40개가 된다고 가정합니다. 모두 입력 2,000을 복구하여 한 번 재시도하므로 수정 요청은 0.008 USD입니다. 짧은 입력 단가로 수정 비용을 계산하지 않습니다.

모델 라우팅

간단한 40개를 입력/출력 가상 단가 백만 토큰당 0.5/2 USD인 소형 모델로 처리하여 요청당 0.002 USD입니다. 이 중 16개가 실패하여 주 모델로 전환합니다. 나머지 60개는 주 모델로 시작하며 12개를 재시도합니다. 주 모델 호출은 60 + 16 + 12 = 88번, 첫 실패는 총 28개, 전체 시도는 128번입니다.

Baseline: 120 × 0.008 = 0.960
          0.960 + 0.100 + 0.060 + 0.080 = 1.200
Cache:    10 × 0.008 + 110 × 0.0065 = 0.795
          writes = 10 × 1,000 × 1 / 1,000,000 = 0.010
          0.795 + 0.010 + 0.100 + 0.060 + 0.080 = 1.045
Short:    100 × 0.006 + 40 × 0.008 = 0.920
          0.920 + 0.100 + 0.070 + 0.080 = 1.170
Routing:  40 × 0.002 + (60 + 16 + 12) × 0.008 = 0.784
          0.784 + 0.100 + 0.064 + 0.080 = 1.028

방식	첫 실패 /100	전체 시도	배치 총비용 USD
기준	20	120	1.200
캐시	20	120	1.045
짧은 입력	40	140	1.170
모델 라우팅	28	128	1.028

방식	검수 작업당 USD
기준	0.01200
캐시	0.01045
짧은 입력	0.01170
모델 라우팅	0.01028

별도의 최종 실패 상황을 보겠습니다. 기준 비용이 1.200 USD인 채 95개만 검수되면 작업당 1.200 ÷ 95 ≈ 0.01263 USD입니다. 나머지 5개에 각각 인력 2분과 가상 시간당 30 USD가 필요하면 5 × 2 ÷ 60 × 30 = 5 USD가 추가됩니다. 모두 수정됐다고 가정할 때 완료 작업당 (1.200 + 5) ÷ 100 = 0.062 USD입니다. 이 추가 가정은 표에 포함되지 않습니다.

품질과 실패 경로를 함께 비교합니다

캐시 사례에서 첫 실패를 늘리지 않고 비용을 줄이는 전제는 문서 버전, 권한, 만료와 캐시 키가 정확하다는 것입니다. 적중률 하락, 잦은 쓰기, 오래된 내용 적중은 결과를 바꿉니다. 읽기 단가만 보지 말고 적중과 품질을 측정합니다.

첫 요청마다 입력은 절반이지만 배치 전체는 120 × 2,000 = 240,000에서 100 × 1,000 + 40 × 2,000 = 180,000토큰으로 바뀌어 25%만 감소합니다. 재시도가 감소분 일부를 상쇄하며 배치 비용은 1.200에서 1.170으로만 바뀌고 첫 실패는 20에서 40으로 늘어납니다. 지연이나 수정 부담이 허용되지 않으면 복구합니다.

라우팅은 이 예시 비용을 줄이지만 첫 실패를 28개로 늘립니다. 고객이 명시적으로 승인한 다중 모델 애플리케이션 전략에만 적용되며 Corebyte가 구매한 지정 모델을 바꾼다는 뜻이 아닙니다. 조용히 하위 모델로 전환하지 않고 실제 모델, 라우팅 이유와 폴백을 기록합니다. 경계 작업을 포함한 동일 샘플로 분류 및 전환 규칙을 검증합니다.

사용량과 청구서가 다를 때의 진단

1. 계정/프로젝트, 정확한 모델과 버전, 리전과 경로, 통화, 청구 기간과 시간대를 맞춥니다. 잠정 사용량과 확정 청구서를 구분합니다.

2. 작업에 각 시도와 공급업체 요청 ID를 연결합니다. SDK·애플리케이션 재시도, 시간 초과 후 재전송, 스트림 단절을 확인합니다. 한 번의 클릭이 여러 과금 시도를 만들 수 있습니다. 불명 결과는 대조 대기로 두어 중복 집계나 누락을 피합니다.

3. 공급업체 필드에 따라 입력, 출력, 캐시 읽기/쓰기, 추론/도구 범주 및 단위를 맞춥니다. 총 입력에 캐시가 포함되면 다시 더하지 않습니다. 토큰, 백만 토큰, 초, 용량 시간을 각각 환산합니다.

4. 요청을 청구 기간으로 합산한 뒤 지연 반영, 패키지 차감, 할인/환불, 세금과 별도 서비스 비용을 대조합니다. 근거 없는 차이를 추측한 유효 단가로 없애지 않습니다.

5. 큰 차이부터 미연결 비용, 중복, 계량 범주 및 단가 조건을 조사합니다. 비식별 요청 ID, 계량, 시간과 청구 행을 남기고 자격 증명, 전체 프롬프트나 고객 문서를 기본 저장하지 않습니다.

재사용 가능한 비용 대조 체크리스트

• task_id, attempt_id, 공급업체 ID, 모델/버전, 경로, 시작·종료, 기술 상태와 업무 검수 결과를 기록합니다.
• 원 단위를 보존하고 모델, 검색, 도구, 실행, 인건비를 출처와 배분 규칙별로 분리합니다.
• 같은 샘플에서 비용, 검수율, 재시도, 전체 지연과 수정을 비교합니다.
• 출력, 반복, 재시도와 동시성을 제한하고 할당량 부족, 시간 초과와 불명 결과 처리를 정합니다. 비용 알림은 실제 호출 제한이 아닙니다.
• 모델, 캐시나 작업 흐름 변경 후 다시 대조합니다. 샘플과 청구 근거 없이 고정 절감률을 약속하지 않습니다.

실제 가격과 범주는 Amazon Bedrock 요금 또는 선택한 공급업체의 현재 조건에서 확인해야 합니다. 이 가상 데이터는 계산과 진단 방법만 설명합니다.