線上推論
應用請求
模型推論
傳回結果
確認同時服務的使用者數、請求長度與回應時間。以代表性請求驗證容量，再決定常駐資源及尖峰擴充方式。
選型所需資訊
- 同時使用人數
- 請求長度
- 回應時間
產品與資源
私有運算資源與模型部署
為業務規劃運算資源，讓模型在合適的環境執行。
洽詢資源報價 ↗01 / 工作負載
把 GPU 需求轉為可採購的資源。
先確認 GPU 要完成什麼任務，再以代表性工作負載決定配置與容量。
模型微調
訓練資料
微調作業
模型產物
釐清基礎模型、資料規模與預估作業時間。將訓練作業、成果儲存及後續推論分別規劃，避免一次性任務產生長期開機費用。
選型所需資訊
- 基礎模型
- 資料規模
- 作業時間
訓練與多卡作業
資料讀取
多 GPU 任務
檢查點
除顯示記憶體與卡數，也要評估 GPU 間通訊、資料讀取及檢查點儲存。先確認模型授權與工作負載，再判斷是否需要叢集方案。
選型所需資訊
- 顯存與 GPU 數量
- GPU 間通訊
- 資料與檢查點
展開詢價規格、費用組成與容量驗證
依工作任務選擇 GPU 資源，在報價中確認雲端平台或供應商、資源規格、帳戶安排與使用期間。單卡、多卡及獨享或共享資源的選項，依專案查核。
- 詢價規格：目標 GPU 或最低顯示記憶體、卡數、預估並行量或作業週期、使用地區及開始時間。
- 費用組成：算力、儲存、網路流量及約定的實施或維運費分項列示；幣別、稅費、計費週期與資源釋放條件於報價中確認。
- 容量驗證：提供去識別化樣本或既有測試指標；確認可用配置、配額與供應條件後，再安排採購與驗證。
02 / 部署路徑
先確定模型在哪裡運行。
私網接入與模型在自有 GPU 上執行，是不同的交付方式。先看清執行邊界，再選擇路徑。
透過私有網路存取託管模型
客戶應用
私網連線，依服務支援情況
原廠服務商環境
模型執行環境
執行邊界示意。供應條件、模型授權與實施範圍依專案確認。
- 由誰執行模型
- 上游模型服務商
- 需要確認
- 私網能力、處理地區與資料保留
評估目標服務是否支援所需的私有連線。模型仍由服務商運行，須確認實際處理地區、日誌及保留規則，不能將私有入口視為資料僅留在客戶環境。
在客戶雲端帳戶或 VPC 內運行
客戶雲端帳號 / VPC
客戶應用
GPU + 模型服務
外部相依項目須逐一驗證
執行邊界示意。供應條件、模型授權與實施範圍依專案確認。
- 由誰執行模型
- 客戶帳號內依約定分工
- 需要確認
- 模型授權、身分權限、網路及外部相依項目
針對允許自行部署的模型，規劃客戶帳戶內的 GPU、模型服務、儲存與存取控制。分別確認運行資料、管理通道及外部依賴。
部署至客戶自有 GPU
客戶自有 GPU 設備
客戶應用
GPU + 模型服務
獲授權的模型與執行環境
執行邊界示意。供應條件、模型授權與實施範圍依專案確認。
- 由誰執行模型
- 客戶與實施團隊依約定分工
- 需要確認
- 硬體、執行環境、模型授權與管理員權限
評估既有伺服器、驅動程式、網路及儲存條件，釐清模型取得與授權、映像交付、管理員權限及現場實施的責任。
受限網路或離線環境
經驗證的受限環境
客戶應用
GPU + 模型服務
外部相依項目須逐一驗證
執行邊界示意。供應條件、模型授權與實施範圍依專案確認。
- 由誰執行模型
- 客戶環境內依約定分工
- 需要確認
- 離線安裝、授權檢查、更新及完整資料路徑
先查核模型與軟體授權、離線安裝、授權驗證及更新依賴。完整資料路徑與外部依賴通過驗證後，才將離線運行納入交付範圍。
展開模型授權、資料邊界與實施職責
私有網路接入、雲端內自行部署與自有設備部署，交付範圍各不相同。託管模型 API 不代表可下載模型權重；可採用的路徑取決於模型授權、地區、資源條件與專案範圍。
- 實施前約定責任：資源採購、模型與資料授權、網路與身分權限、映像更新、監控、備份及故障處理由誰負責。
- 方案載明交付範圍：目標環境、模型版本、接入方式、配置與測試紀錄，以及需要客戶或原廠配合的事項。
03 / 確認交付範圍
從需求評估，到可驗收的交接。
實施前先約定範圍；每一步，都有決策依據與對應的交接紀錄。
盤點與評估業務目標、限制與現有環境
盤點既有雲端帳戶、應用、文件或資料、權限及網路限制，釐清業務目標、預算與資料處理要求；以去識別化資料溝通，不索取正式環境金鑰。
方案與報價資源、職責與分項費用
列出資源來源、地區、配置、帳戶歸屬、實施範圍、費用組成及適當的簽約主體。比較方案時，同時考量資源費用與後續營運成本。
受控驗證代表性樣本與約定驗收標準
約定測試樣本、效果、並行量、延遲、故障復原及用量核對方式。達到雙方確定的標準後才推進；未達標時調整方案或停止該階段。
上線與移交配置、權限、帳單與執行資料
依約交接配置、版本、權限清單、計費基準及運行說明。退出或遷移時，另行確認資料匯出、權限撤銷、資源釋放與保留義務。
報價包含什麼，清楚可見。
資源費用與交付工作分別列明，實際項目與計費條件在方案中確認。
- 運算
- GPU 配置、數量與使用期間
- 儲存
- 資料、模型產物與檢查點
- 網路
- 連線與網路流量
- 實施與支援
- 約定工作範圍與服務時段
展開詢價資訊與各階段約定
先形成可比較、可報價的方案，再安排資源與實施。評估、試點、上線及持續支援可依約分別採購。
- 詢價時請提供：採購主體及實際使用國家或地區、目標模型或任務、既有環境、預估用量、預算區間及時程。
- 若需實施或持續支援，請一併說明負責人、期望涵蓋時段、驗收方式及內部審批要求；回應及服務條件於協議中確認。
需要深入時，再看實施細節。
按需展開技術範圍、整合邊界與驗收要求。
從資源到執行環境。
運算資源選型
依模型規模、GPU 記憶體與負載評估 GPU 資源。
模型部署
依模型授權、網路與既有系統規劃部署。
實施交接
確認驗證項目、執行責任與交接資料。
適合這些需求。
私有模型環境
需要明確的資源、存取與資料處理範圍。
業務系統整合
將模型能力導入既有應用與工作流程。
既有環境擴充
評估新模型、負載變化與資源調整。
帶著目標開始討論。
- 目標模型與 GPU / 記憶體需求
- 部署地區、網路與既有環境
- 預估負載、預算及實施支援
依工作負載確定資源與環境。
GPU 資源與部署範圍按實際任務評估；具體組態、地區與供應條件在方案中確認。
任務與容量
區分推論、微調與訓練需求，提供模型授權、參數規模、精度、上下文長度、並行量與樣本。據此估算顯示記憶體、運算與擴充需求，避免只按 GPU 型號採購。
執行環境
確定驅動程式、CUDA、框架與推論服務版本，以及映像、儲存、網路和資料載入方式。確認資源帳號歸屬、管理員權限、監控與備份責任。
企業 AI 整合與驗收。
知識庫與 Agent 涉及企業資料及業務系統，部署前應一併確定存取邊界與驗收樣本。
資料與工具權限
RAG 確認文件來源、更新週期、檢索權限與引用要求；Agent 確認可呼叫工具、人工核准步驟與失敗復原路徑。模型能力不能取代權限控制。
交付與移交
依約定樣本測試品質、延遲、容量與異常處理，移交組態紀錄、存取清單、監控和復原說明。持續維運涵蓋時段、變更責任與費用另行確認。
產品、地區與交付條件，以確認的方案及雙方協議為準。
評估、交付與持續支援
依目前要解決的問題，選擇所需的服務階段與交付範圍。