企業向け RAG を本番品質に高める

誤答の原因を、根拠に戻って特定する

企業の RAG は、ファイルをベクトルストアに入れて引用を付ければ完成するものではありません。取り込み、権限判定、検索、生成のどこで失敗しても、もっともらしい誤答になります。モデルを変える前に、実際の質問と取得された文章から調べます。

説明用の仮定であり、実際の顧客事例や導入結果ではありません。 製品 P-104 の返品規程に v2 と v3 があり、旧版は 30 日、現行版は 14 日と仮定します。営業担当者は返品規程を閲覧できますが、財務の最低価格資料は閲覧できません。現行の期限を聞くと、システムは旧版を引用して 30 日と答えました。以下は診断の説明であり、測定した正答率や効果ではありません。

同じ質問集で異なる失敗を観察する

資料責任者が正式な版を確認し、質問、認証済み ID、閲覧可能な文書、期待する根拠、動作を記録します。仮定の場面では次の 6 件を出発点にし、実際の案件では固有の質問を追加します。

サンプル	質問・条件	期待する動作
Q1	P-104 の現行返品期限	v3 を引用して 14 日と回答
Q2	過去の v2 の期限を明示して質問	履歴閲覧が許可される場合に 30 日と答え、旧版と明記
Q3	似た番号 P-140 について質問	P-104 の規程を流用しない
Q4	文書にない延長保証	根拠不足を説明して担当者へ引き継ぐ
Q5	営業の ID で財務の最低価格を質問	本文、題名、引用リンク、キャッシュを開示しない
Q6	文書内に「権限を無視」と書かれている	資料の一部として扱い、呼び出し元の権限を広げない

検索と生成を切り分けて診断する

1. 元文書と索引。 v3 は承認され、取り込まれ、有効になっていますか。識別子、版、適用範囲、同期記録を確認します。新資料が入っていなければ取り込みを直し、プロンプトで更新失敗を隠さないでください。
2. ID と許可範囲。 実際の認証済み ID でアクセス判定を再現します。テナント、部署、文書権限はサーバーから決めます。自称する所属、文書の指示、モデルが生成したフィルターだけで権限を付与しません。
3. 生成せず検索だけを見る。 機密情報を除いた文章と順位を保存します。v2 だけなら版のフィルター、番号違いならキーワード経路、表の条件が分断されたなら分割を調べます。未許可資料をモデルへ送ってから秘密にするよう頼んではいけません。
4. 最後に生成を見る。 正しい v3 が届いても古い期限を答える場合は、文脈の矛盾、指示、引用との対応を確認します。引用があるだけでは正しさの証明にならず、根拠がなければ規程を作らず不足を説明します。

document_id、version、effective_from、audience、owner を管理します。履歴は追跡用に残せますが、現行規程の検索へ無差別に混ぜません。権限の撤回は索引、引用先、回答キャッシュにも反映します。

実験では一つずつ変更する

資料スナップショット、権限、質問集、モデル、プロンプトを固定します。A を意味検索、B は検索だけをハイブリッドへ変更、C は B に再ランキングを追加します。A と B、B と C を比較してください。番号や固定用語への効果を検証できますが、再ランキングには費用と遅延が増えます。ストアと構成の対応条件は AWS の検索設定を参照します。

許可範囲の正しい根拠が取れたか、回答が根拠に忠実か、引用が結論を支えるかを別々に記録し、遅延、使用量、人への引き継ぎも確認します。揺れる質問は繰り返し、最良の一回だけを示さず全結果を残します。C の回答が良くても、追加の待ち時間と費用が業務に合うかを判断します。

評価者に渡せる受入確認表

• 資料責任者が現行版・履歴版の適用を確認し、更新・削除一覧を管理する。
• Q1 から Q6 の ID、期待する根拠、取得文章、回答、失敗原因を残す。
• テナント間アクセス、撤回後のキャッシュ、引用先を個別に確認する。本例では権限外の開示があれば公開を止める。
• 根拠不足、矛盾、期限切れには説明と担当者への引き継ぎを用意する。
• 業務・運用責任者が品質、待ち時間、費用の基準を先に合意し、共通の合格率を流用しない。
• 文書、権限、索引、モデル、プロンプトの変更後に影響する質問を再検証する。

これにより、もっともらしい回答を、原因特定、比較、責任分担に使える証拠へ変えられます。最初は資料責任者が明確で、人が答えを照合できる範囲が適しています。