AI 프로젝트가 데모와 운영 환경 사이에서 멈추는 이유
작동하는 데모와 실제 운영 시스템 사이의 몇 가지 단계, 그리고 이를 처음부터 계획하는 방법을 다룹니다.
실패해도 업무를 이어 갈 방법부터 정하기
데모는 준비된 입력으로 성공 경로를 지납니다. 운영 서비스에는 의존 서비스 시간 초과, 혼잡, 반복 클릭, 취소와 자료 갱신도 생깁니다. 출시 일정을 약속하기 전에 사용자, 허용 작업, 수동 대체와 중단 권한자를 검수 조건에 포함하세요.
설명을 위한 가정이며 실제 고객 사례나 용량 보장이 아닙니다. 내부 도우미가 지식베이스를 검색하고 지원 티켓을 만들며 시험 사용자가
5명에서50명으로 늘어난다고 가정합니다. 논리 작업task-42의 기록은 생성됐지만 돌아오는 연결이 끊겼습니다. 사용자는 시간 초과를 보고 다시 클릭한 뒤 취소했습니다. 클릭마다 새 작업을 만들면 티켓이 중복될 수 있으며 취소 버튼이 비활성화되어도 외부 기록이 되돌아간 것은 아닙니다.
실패한 작업으로 의존 관계 드러내기
인증, 지식 색인, 모델, 작업 큐와 티켓 시스템을 그립니다. 같은 작업 ID로 큐 대기, 각 호출 시간, 재시도, 버전과 종료 상태를 기록하되 원본 고객 내용은 최소화하세요. 어디서 멈췄는지부터 확인하고 모델, 연결, 할당량이나 업무 절차의 조치를 선택합니다.
| 실패 지점 | 진단할 항목 | 업무 지속 방법 |
|---|---|---|
| ID·권한 서비스 | 인증과 현재 권한을 확인할 수 있는가 | 확인 불가하면 보호된 작업을 중단 |
| 색인 갱신 | 원본과 색인 버전이 맞는가 | 새 자료에 의존하는 답변을 멈추고 수동 확인 |
| 모델 제한·중단 | 할당량, 동시 실행, 대기와 재시도가 겹치는가 | 큐·백오프를 제한하고 작업 기한 후 담당자 연결 |
| 티켓 쓰기 결과 불명 | 외부 기록이 이미 생겼는가 | 다시 만들기 전에 상태 대조 |
| 요청 적체 | 큐 나이, 진행 중 작업과 가장 느린 의존 서비스 | 새 요청을 제한·거부·연기하고 무제한 대기하지 않음 |
5명에서 50명으로 늘어도 모델 용량을 단순 배수로 계산할 수 없습니다. 한 작업에 여러 호출이 있고 재시도도 자원을 씁니다. 대표 동시 실행과 느린 의존 서비스를 넣어 대기, 취소, 비용과 실패를 연습하고 큐·작업 한도를 정한 뒤 확대하세요.
재시도, 중복과 취소는 다릅니다
같은 논리적 의도에 안정된 작업 ID를 주고 재시도에서는 같은 멱등성 키를 사용하며 요청 요약과 결과 상태를 저장합니다. 프롬프트 문자열만으로 중복을 제거하면 합법적인 비슷한 요청도 막힐 수 있습니다. 외부 시스템이 멱등성을 지원하면 범위와 유효 기간을 확인하고, 아니면 상태 대조, 통제된 직렬 처리나 수동 확인으로 위험을 낮춥니다. 무조건적인 정확히 한 번 실행을 보장하지 마세요.
시간 초과는 결과가 제때 도착하지 않았다는 뜻이지 외부 작업이 없었다는 증거가 아닙니다. task-42는 생성 기록부터 조회한 뒤 기존 결과 반환이나 보상 처리를 정합니다. 제한된 재시도와 백오프는 AWS 시간 초과·재시도 안내를 참고하세요.
대기 중단, 후속 단계 중단, 상위 서비스에 취소 요청, 완료 작업 되돌리기는 별개입니다. cancel_requested를 저장한 뒤에도 늦게 도착하는 결과를 처리해야 합니다. 완료나 취소를 확인할 수 없으면 unknown으로 기록해 대조 큐로 보냅니다. 생성된 티켓에는 별도의 종료·보상 절차가 필요하며 화면 취소만으로 쓰기가 없었다고 처리하면 안 됩니다.
갱신과 롤백에도 경계 두기
코드, 모델, 프롬프트, 색인, 권한 정책과 도구 스키마를 버전 관리합니다. 자료 책임자 승인 후 수집, 캐시 무효화와 출처 접근을 확인하고 영향받는 샘플을 다시 실행합니다. 이전 코드로 돌아가도 회수된 권한이나 만료 정책을 되살리면 안 됩니다. 필요하면 해당 기능을 먼저 끕니다.
대체 모델은 처리 리전, 비용, 도구 매개변수와 답변 동작을 검토하세요. 승인 경로가 없다면 재시도 안내나 담당자 연결을 제공합니다. 릴리스를 되돌리기 전에 진행 중 작업의 중단, 배출이나 대조 방법을 정해야 합니다. 페이지나 프롬프트 복구만으로 외부 부작용은 해소되지 않으며 책임자가 별도 처리해야 합니다.
책임자별 재사용 가능한 출시 기준
- 업무 책임자: 범위, 수동 대체와 실패 안내를 승인합니다. 읽기부터 열고 검수 증거에 따라 제안·쓰기를 추가합니다.
- 자료·보안 책임자: 버전, 권한, 로그와 처리 경계를 승인합니다. 접근 회수 실패, 무단 검색이나 미확인 쓰기는 확대를 막습니다.
- 기술 책임자: 의존 장애, 중복, 취소, 늦은 콜백과 용량 부족을 연습하고 상태·대조 증거를 남깁니다.
- 운영 책임자: 중단 조건, 복구 버전, 전환 스위치와 롤백을 문서화하며 진행 중 작업·외부 기록 담당자를 정합니다.
- 공동 검수: 품질, 대기, 비용과 갱신 기준을 합의합니다. 핵심 항목에 책임자나 검토 가능한 결과가 없으면 시험 범위를 넓히지 않습니다.
출시는 증거와 책임으로 결정하며 성공한 데모나 고정 일수로 결정하지 않습니다. 점진적으로 확대해야 장애 영향을 통제할 수 있을 때 절차를 고칠 수 있습니다.