在线推理
应用请求
模型推理
返回结果
关注同时服务多少用户、请求长度和响应时间。用代表性请求验证容量，再确定常驻资源与高峰扩容方式。
选型需要的输入
- 并发用户
- 请求长度
- 响应时间
产品与资源
私有算力与模型部署
为业务规划算力，让模型在合适的环境运行。
咨询资源报价 ↗01 / 工作负载
把 GPU 需求转成可采购的资源。
先明确 GPU 要完成什么任务，再用代表性工作负载确定配置与容量。
模型微调
训练数据
微调作业
模型产物
明确基础模型、数据规模和预计作业时长。将训练作业、结果存储及后续推理分别规划，避免把一次性任务变成长期开机费用。
选型需要的输入
- 基础模型
- 数据规模
- 作业时长
训练与多卡任务
数据读取
多卡任务
检查点
除显存和卡数外，还需评估卡间通信、数据读取和检查点存储。先确认模型许可与工作负载，再判断是否需要集群方案。
选型需要的输入
- 显存与卡数
- 卡间通信
- 数据与检查点
展开询价规格、费用构成与容量验证
围绕任务选择 GPU 资源，并在报价中明确云平台或供应方、资源规格、账号安排与使用周期。单卡、多卡及独享或共享资源的可选方案，按项目核实。
- 询价规格：目标 GPU 或最低显存、卡数、预计并发或作业周期、使用地区及开始时间。
- 费用构成：算力、存储、网络流量与约定的实施或运维费用分项列明；币种、税费、计费周期和释放条件在报价中确认。
- 容量验证：提供脱敏样本或已有测试指标；确认可用配置、配额和供给条件后，再安排采购与验证。
02 / 部署路径
先选清楚模型运行在哪里。
私网接入与模型运行在自有 GPU 上，是不同的交付方式。先看清运行边界，再选择路径。
通过私网访问托管模型
客户应用
私网连接，按服务支持情况
原厂服务商环境
模型运行环境
运行边界示意。可供条件、模型许可与实施范围按项目确认。
- 模型由谁运行
- 上游模型服务商
- 需要确认
- 私网能力、处理地区与数据留存
评估目标服务是否支持所需私网连接。模型仍由服务商运行，需核对实际处理地区、日志与保留规则，不能把私网入口视为数据仅留在客户环境。
在客户云账号或 VPC 中运行
客户云账号 / VPC
客户应用
GPU + 模型服务
外部依赖需逐项验证
运行边界示意。可供条件、模型许可与实施范围按项目确认。
- 模型由谁运行
- 客户账号内按约定分工
- 需要确认
- 模型许可、身份权限、网络及外部依赖
对允许自部署的模型，规划客户账号内的 GPU、模型服务、存储与访问控制。把运行数据、管理通道和外部依赖分别确认。
部署到客户自有 GPU
客户自有 GPU 设备
客户应用
GPU + 模型服务
获许可的模型与运行环境
运行边界示意。可供条件、模型许可与实施范围按项目确认。
- 模型由谁运行
- 客户与实施团队按约定分工
- 需要确认
- 硬件、运行环境、模型授权与管理员权限
评估已有服务器、驱动、网络及存储条件，明确模型获取与许可、镜像交付、管理员权限以及现场实施由谁负责。
受限网络或离线环境
经验证的受限环境
客户应用
GPU + 模型服务
外部依赖需逐项验证
运行边界示意。可供条件、模型许可与实施范围按项目确认。
- 模型由谁运行
- 客户环境内按约定分工
- 需要确认
- 离线安装、许可校验、更新及完整数据路径
先核查模型与软件许可、离线安装、授权校验和更新依赖。只有完整数据路径与外部依赖验证满足要求后，才将离线运行写入交付范围。
展开模型许可、数据边界与实施职责
私网接入、云内自部署与自有设备部署的交付范围不同。托管模型 API 不等于可下载的模型权重；可采用的路径取决于模型许可、地区、资源条件与项目范围。
- 实施前约定职责：资源采购、模型与数据授权、网络和身份权限、镜像更新、监控、备份及故障处理分别由谁承担。
- 交付范围写入方案：目标环境、模型版本、接入方式、配置与测试记录，以及需客户或原厂配合的事项。
03 / 明确交付边界
从需求评估，到可验收的交接。
实施前先约定范围；每一步，都有决策依据和对应的交接记录。
盘点与评估业务目标、限制与现有环境
梳理现有云账号、应用、文档或数据、权限与网络限制，明确业务目标、预算和数据处理要求；使用脱敏资料沟通，不索取生产密钥。
方案与报价资源、职责与分项费用
列出资源来源、地区、配置、账号归属、实施范围、费用构成及合适的签约主体。比较方案时同时看资源费用与后续运行成本。
受控验证代表性样本与约定验收标准
约定测试样本、效果、并发、延迟、失败恢复和用量核对方法。达到双方确定的标准后再推进；不满足时调整方案或停止该阶段。
上线与移交配置、权限、账单与运行资料
按约定范围交接配置、版本、权限清单、账单口径和运行说明。退出或迁移时，另行明确数据导出、权限撤销、资源释放及保留义务。
报价包含什么，一眼看清。
资源费用与交付工作分别列明，具体项目和计费条件在方案中确认。
- 算力
- GPU 配置、数量与使用周期
- 存储
- 数据、模型产物与检查点
- 网络
- 连接与网络流量
- 实施与支持
- 约定的工作范围与覆盖时间
展开询价信息与各阶段约定
先形成可比较、可报价的方案，再安排资源与实施。评估、试点、上线和持续支持可以按约定分别采购。
- 发起询价时，请提供：采购主体与实际使用国家或地区、目标模型或任务、现有环境、预计用量、预算区间及时间计划。
- 需要实施或持续支持时，一并说明责任人、期望覆盖时段、验收方式和内部审批要求；具体响应与服务条件在协议中确认。
需要深入时，再看实施细节。
按需展开技术范围、集成边界与验收要求。
从资源到运行环境。
算力选型
按模型规模、显存和负载评估 GPU 资源。
模型部署
结合模型许可、网络和已有系统规划部署。
实施交接
明确验证事项、运行职责和交接资料。
适合这些需求。
私有模型环境
需要明确资源、访问与数据处理边界。
业务系统衔接
把模型能力接入现有应用和工作流程。
已有环境扩展
评估新模型、负载变化和资源调整。
带着目标开始沟通。
- 目标模型与 GPU / 显存需求
- 部署地区、网络与现有环境
- 预计负载、预算及实施支持
从工作负载确定资源与环境。
GPU 资源与部署范围按实际任务评估；具体配置、地区和可供条件在方案中确认。
任务与容量
区分推理、微调与训练需求，提供模型许可、参数规模、精度、上下文长度、并发量和样本。用这些输入估算显存、算力和扩容需求，避免仅按 GPU 型号采购。
运行环境
明确驱动、CUDA、框架与推理服务版本，以及镜像、存储、网络和数据加载方式。确认资源账号归属、管理员权限、监控和备份责任。
企业 AI 集成与验收。
知识库与 Agent 涉及企业数据和业务系统，部署前应把访问边界与验收样本一并确定。
数据与工具权限
RAG 明确文档来源、更新周期、检索权限与引用要求；Agent 明确允许调用的工具、人工确认步骤和失败后的回退路径。避免以模型能力代替权限控制。
交付与移交
按约定测试样本验证质量、延迟、容量和异常处理，交付配置记录、访问清单、监控与恢复说明。持续运维的覆盖时间、变更责任与费用单独确认。
产品、地区与交付条件以确认方案和双方协议为准。
评估、交付与持续支持
按当前要解决的问题，选择需要的服务阶段与交付范围。