業務評価に基づいて Bedrock モデルを選ぶ
同じ業務負荷で品質、遅延、権限条件、費用を比較し、変更と復旧の根拠を定めます。
モデル選定前に比較方法を作る
通常の要求、長い文書、曖昧な質問、禁止する要求を含む、版管理したデータセットを準備します。期待する結果と採点基準も定めます。候補間でプロンプト、参照文書、出力上限を揃えます。条件が違うと、安い要求は単に文脈や回答が短かっただけかもしれません。
正確なモデル ID または推論プロファイル、リージョン、API、日付を記録します。許可された処理地域や画像入力などの必須条件と、回答の文体などの好みを分けます。必須条件を満たさない候補を除外してから、品質を比較します。
業務全体を測定する
| 指標 | 記録する内容 | 判断への用途 |
|---|---|---|
| 品質 | 正確さ、引用の裏付け、適切な拒否 | 業務で利用できるか |
| 遅延 | 検索を含む最初の token と回答完了までの時間 | 利用者が業務を完了できるか |
| 費用 | 入力・出力・キャッシュの区分、ツールと検索の費用 | 合格した業務一件の費用 |
| 信頼性 | 制限、タイムアウト、未完了の結果 | 容量と代替処理の設計 |
狭い業務に大規模モデルは不要なことがあり、小規模モデルが再試行や人手修正の費用を増やすこともあります。token 単価だけでなく、合格した結果一件の総費用を比較します。
基準構成が動作してからルーティングを導入する
まず測定できる既定構成を作ります。評価に合格した業務向けの軽量経路と、明確な例外向けの上位経路を追加します。代替モデルも同じデータ境界と出力契約を満たす必要があります。承認済みの処理地域が変わる場合、障害時に別の提供元へ黙って切り替えてはいけません。
評価成果物には、データセットの版、結果、除外理由、採用構成、変更条件を記録します。モデル、プロンプト、検索を変えたら該当サンプルを再実行し、元に戻せる構成を保持します。
公式参考資料
資料確認日：2026年10月17日。本記事は参考手順であり、記事作成のためのクラウド API 呼び出しは行っていません。