Bedrock 지식 검색 업무 구축 및 평가하기

출처와 접근 방식 준비하기

출처별 소유자, 버전, 갱신 주기, 허용 사용자를 정리합니다. 상충하는 정책은 색인 전에 해결합니다. 검토자가 답변을 승인된 버전까지 추적할 수 있도록 문서 식별자와 위치를 보존합니다.

Knowledge Base 유형을 의식적으로 선택합니다. AWS는 현재 Managed Knowledge Bases와 고객 관리 파이프라인을 구분합니다. 커넥터, ACL, 검색 기능이 다르므로 벡터 저장소가 원본 시스템 권한을 자동으로 상속한다고 가정하지 않습니다. 서로 다른 문서를 봐야 하는 두 사용자로 실제 커넥터와 권한 설계를 테스트합니다.

검색 기준선 만들기

정확한 식별자, 최근 갱신, 정보 부족, 권한 없는 자료를 포함한 질문과 기대 문서를 준비합니다. 모델에 답변을 요청하기 전에 검색을 테스트하고 반환 청크, 메타데이터, 순위를 살펴봅니다. 유창한 답변으로 없거나 잘못된 출처를 고칠 수는 없습니다.

검색 설정은 한 번에 하나씩 바꿉니다. 큰 청크는 문맥을 보존하지만 정확한 일치를 약화할 수 있고 작은 청크는 표의 값과 제목을 분리할 수 있습니다. 같은 샘플셋에서 비교하고 비교 중에는 문서 버전을 고정합니다.

생성 답변은 별도로 평가하기

지원되는 구성에서 RetrieveAndGenerate는 검색과 생성을 인용과 함께 결합합니다. Retrieve는 애플리케이션이 직접 문맥을 조립하는 방식을 지원합니다. 선택한 Knowledge Base의 API와 지원 생성 모델을 확인하세요. 모든 Bedrock 모델이 기본 생성 대상으로 제공되는 것은 아닙니다.

각 주요 진술을 인용 구절이 뒷받침하는지 검증합니다. 승인 자료가 부족하면 적절한 무응답을 요구합니다. 인용은 출처 관계를 나타낼 뿐 결론의 정확성을 증명하지 않습니다.

출시 전에 권한, 오래된 문서, 삭제, 출처 부족 테스트를 반복합니다. 출처 목록, 수집·갱신 절차, 검색 결과, 답변 평가를 전달하고 수집 실패나 문서 충돌을 해결할 책임자를 정합니다.

공식 참고 자료

문서 확인일: 2026년 10월 17일. 이 글은 참고 지침이며 작성 과정에서 클라우드 API를 호출하지 않았습니다.