RAG 업무 실패 원인 진단하기
관찰 가능한 근거로 출처, 수집, 검색, 권한, 생성 문제를 구분합니다.
실패한 요청에서 시작하기
민감 정보를 제거한 질문, 사용자 역할, 출처 버전, 검색 설정, 기대 결과를 보관합니다. 검색 문서 ID와 구절은 최종 답변과 따로 기록합니다. 공유 디버깅 티켓에 인증 정보나 기밀 문서를 넣지 않습니다.
| 증상 | 먼저 볼 근거 | 예상 수정 |
|---|---|---|
| 이전 규칙이 반환됨 | 출처 버전과 마지막 성공 수집 | 출처 또는 갱신 파이프라인 수정 |
| 식별자나 표 값이 없음 | 파싱 본문, 청크 경계, 메타데이터 | 파싱 또는 검색 방식 수정 |
| 금지 문서가 나타남 | 호출자 신원과 서버 측 필터 | 추가 테스트 전에 권한 수정 |
| 올바른 구절이지만 답변 근거가 없음 | 프롬프트, 생성 설정, 인용 범위 | 답변 생성 제한 또는 변경 |
| 승인 출처가 존재하지 않음 | 출처 목록과 검토자 판단 | 답하지 않거나 승인 자료 추가 |
올바른 계층 수정하기
문서가 색인에 들어오지 않았다면 모델을 바꿔도 해결되지 않습니다. 올바른 구절을 검색했지만 잘못 해석한다면 검색을 고정한 상태로 프롬프트와 모델을 비교합니다. 실패 샘플은 회귀 사례로 보존합니다.
갱신과 삭제에서는 출처 변경부터 검색 가능 상태까지 걸린 시간을 측정합니다. 삭제된 내용이 합의된 절차에 따라 검색과 애플리케이션 캐시에서도 사라지는지 확인합니다. 수집 작업의 성공 보고만으로는 충분한 근거가 아닙니다.
반례로 수정 마무리하기
원래 실패와 이전에 작동하던 비슷한 요청을 다시 테스트합니다. 권한 없는 사용자와 자료에 없는 정보 요청도 포함합니다. 원인, 변경, 전후 근거, 남은 한계를 전달합니다. 모델 출력을 검증할 결과로 다루고 검색 내부에서 일어난 일의 진단 설명으로 취급하지 않습니다.
공식 참고 자료
문서 확인일: 2026년 10월 17일. 이 글은 참고 지침이며 작성 과정에서 클라우드 API를 호출하지 않았습니다.