项目资料
白板原始需求与《高效能 Token 云服务介绍》。
连接国产异构算力、通用 Token 工厂与行业应用,让模型服务可生产、可观测、可计量、可治理。
国产异构算力模块
02 / TOKEN SERVICE通用 Token 工厂
行业需求矩阵
能力全景
系统能力定义完整架构,工程能力保证适配、部署、测试、优化和持续运营。
部署选型
选择取决于数据边界、负载稳定性、既有算力、上线速度、定制深度与运维能力。市场命名不统一,必须写清部署位置、资源独享与责任边界。
| 决策维度 | 公有云 | 专有云 | 判断要点 |
|---|---|---|---|
| 资源形态 | 多租户资源池,按量或套餐调用 | 物理或逻辑隔离的专属容量 | 明确资源是否独享、部署位置和超售约束 |
| 上线速度 | 开通账号与接口后可快速试点 | 需完成容量规划、网络与安全联调 | 比较首个业务上线时间,而非只看采购周期 |
| 弹性能力 | 适合波动负载,扩缩容边界由云服务定义 | 受专属容量约束,扩容需提前规划 | 用峰值并发、持续时长和扩容提前量验证 |
| 数据边界 | 数据进入约定云区域和服务边界 | 可强化租户隔离、专网接入和数据驻留 | 以数据分类分级、传输路径和日志留存为准 |
| 定制深度 | 以标准 API、模型目录和平台能力为主 | 可约定模型、网关、策略及专属适配 | 定制项必须进入适配清单和版本维护责任 |
| 运维责任 | 云厂商运维平台,客户管理数据、应用与使用 | 双方按合同划分平台、基础设施和现场责任 | 写清监控、变更、故障、补丁与恢复负责人 |
| 成本方式 | 输入/输出 Token、缓存、套餐及网络费用 | 专属资源、保有量、托管运营及长期合约 | 按三年总拥有成本与有效 Token 成本比较 |
| 适用场景 | 快速试点、需求波动、通用模型调用 | 数据边界严格、容量稳定、需要专属运营 | 先按业务分级,允许不同业务采用不同模式 |
确定业务任务、数据等级、部署位置、并发峰值、恢复目标和责任边界。
固定模型、精度、硬件、输入输出长度和并发,比较质量、速度、稳定性与成本。
接入网关、权限、审计、计量和告警,以真实业务流量验证限流、降级与恢复。
持续进行容量预测、版本治理、账单复核、SLA 复盘和优化前后同口径复测。
垂直行业
以业务任务而非泛行业标签组织内容,覆盖八个具备明确评价口径的重点方向。
| 名称 | 计算方式 / 关键指标 | 说明 | 行业标准 / 依据 | 详情 |
|---|---|---|---|---|
| 低空经济固定 | mAP、MOTA / IDF1、定位误差、告警时延、链路可用性 | 实时性、安全冗余、空域与航线约束、边云协同、弱网和多传感器融合。 | 民航局相关规章;GB 42590-2023 | |
| 具身智能固定 | 任务成功率、碰撞率、轨迹误差、端到端时延、恢复成功率 | 感知—规划—控制闭环、长时任务、仿真到现实、动作安全和实时控制。 | ISO 10218-1/-2:2025;ISO/TS 15066 | |
| GIS / 测绘固定 | IoU、mAP、配准误差、拓扑错误率、P95 时延、空间查询吞吐 | 图像与目标识别精度、坐标投影一致性、快速检索、时空数据更新和可解释性。 | OGC API Features / WMS / WFS;GB/T 17798-2007 | |
| 医疗影像固定 | 灵敏度、特异度、AUROC、F1、漏诊率、误诊率、报告时延 | 更重视诊断精度、漏诊风险、可追溯和医生复核,速度服从安全与质量。 | ISO 13485;IEC 62304;GB/T 39725-2020 | |
| 金融风控固定 | AUC / KS、召回率、误报率、损失率、审计追溯时延 | 风险可解释、稳定性、数据合规、审计、实时决策与模型漂移监测。 | JR/T 0223-2021;JR/T 0197-2020 | |
| 工业制造固定 | 良率、缺陷检出率、漏检率、节拍、OEE、停机时长 | 实时控制与确定性、设备协议、边缘部署、工艺安全、连续运行和回滚。 | IEC 61508;IEC 62443;GB/T 37393-2019 | |
| 能源电力扩展 | 负荷预测 MAE、故障召回率、告警时延、供电可用性、调度约束满足率 | 安全稳定运行、预测可靠性、实时告警、设备寿命、调度约束与边缘自治。 | IEC 61850;电力行业数据安全与调度规程 | |
| 交通物流扩展 | ETA MAE / RMSE、履约率、调度耗时、异常识别召回 | 时空预测、实时调度、可靠性、异常处理、峰值并发和成本。 | GB/T 35658-2017 |
评价体系
模型、版本、精度、硬件、输入输出长度、并发、预热、统计周期和错误率缺一不可。单次样本不能作为生产 SLA。
先看完整口径,再进入单项指标字典;性能、质量、稳定性与经济性必须联合判断。
| 名称 | 计算方式 | 单位 | 说明 | 验收注意 |
|---|---|---|---|---|
| TTFT首 Token 时延 | 首个输出 Token 时间 − 请求到达时间 | ms | 衡量初始响应速度 | 固定输入长度、并发与预热状态 |
| TPOT输出 Token 间时延 | 生成阶段耗时 ÷ 输出 Token 数 | ms/token | 衡量持续生成速度 | 说明统计区间及是否包含首 Token |
| Throughput输出吞吐 | 单位时间生成的输出 Token 数 | token/s | 衡量系统总体产出能力 | 注明输出长度、并发、精度和批处理策略 |
| Effective有效 Token 率 | 满足任务要求的输出 Token ÷ 总输出 Token | % | 衡量可用于业务的真实产出 | 有效性判定规则必须预先定义并可复核 |
| KV HitKV Cache 命中率 | 命中请求或 Token ÷ 可复用总量 | % | 衡量前缀复用效果 | 注明复用粒度、缓存容量和淘汰规则 |
| Success调用成功率 | 成功请求 ÷ 总请求 | % | 衡量请求完成质量 | 定义超时、取消、重试和降级的统计口径 |
| Availability服务可用性 | 可用时间 ÷ 统计周期 | % | 衡量持续服务能力 | 结合计划维护、SLA、恢复和容灾演练 |
| Cost单位 Token 成本 | 对应费用 ÷ Token 数 × 1,000,000 | 元/1M token | 衡量经济性 | 分输入与输出,注明折扣、缓存和失败请求 |
| Energy单位 Token 能耗 | 推理阶段能耗 ÷ 有效输出 Token | J/token | 衡量能效 | 记录测量边界、采样方法和有效 Token 口径 |
证据中心
事实、标准、测试样本和建议分层展示。具体产品能力以适配清单、测试记录和合同责任边界为准。
白板原始需求与《高效能 Token 云服务介绍》。
国家标准全文公开系统、监管部门及标准组织页面。
用于设计展示维度,落地前必须结合真实产品和测试条件确认。