用Spring Boot搭建AI成本与稳定性监控看板：Token、预算、429、熔断与降级

文章摘要Spring AI 2.0已经可以通过Micrometer输出模型调用耗时与Token指标但企业要真正控制成本还需要把模型价格、业务场景、租户、预算、重试、Tool Calling和降级事件统一起来。本文实现一个轻量级AI成本与稳定性监控服务从ChatResponse读取Usage计算单次费用写入业务成本表同时用Micrometer记录低基数指标并提供租户月预算、场景成本、429、熔断和降级看板所需的数据模型与PromQL。一、最终要看哪些数据系统健康看板QPS P95/P99延迟 当前并发 错误率 429 超时 熔断 降级成本看板输入Token 输出Token 缓存读写Token 按模型成本 按租户成本 按业务场景成本 单任务平均成本 预算使用率质量辅助完成率 重试次数 工具调用次数 人工接管率二、为什么Prometheus不能单独做财务结算Prometheus适合趋势和告警但不适合最终账单指标可能有采样数据有保留期限实例重启和标签变化会影响序列不适合保存每个用户高基数记录难以做审计和追溯。推荐Micrometer → 实时监控 成本明细表 → 结算与审计三、价格配置模型publicrecordModelPrice(Stringprovider,Stringmodel,BigDecimalinputPerMillion,BigDecimaloutputPerMillion,BigDecimalcacheWritePerMillion,BigDecimalcacheReadPerMillion,LocalDateeffectiveFrom){}价格不能写死在业务代码中。配置表CREATETABLEai_model_price(idBIGINTPRIMARYKEY,providerVARCHAR(64)NOTNULL,modelVARCHAR(128)NOTNULL,input_per_millionDECIMAL(18,8)NOTNULL,output_per_millionDECIMAL(18,8)NOTNULL,cache_write_per_millionDECIMAL(18,8),cache_read_per_millionDECIMAL(18,8),effective_fromDATENOTNULL,effective_toDATE);模型价格变化后保留历史版本。四、请求上下文publicrecordAiCostContext(StringrequestId,StringtenantId,StringuserId,StringbusinessScene,StringpromptVersion,StringmodelTier){}tenantId和userId从认证上下文读取不信任前端直接传值。五、从ChatResponse读取UsageChatResponseresponsechatClient.prompt().user(message).call().chatResponse();Usageusageresponse.getMetadata().getUsage();读取longinputusage.getPromptTokens();longoutputusage.getCompletionTokens();longtotalusage.getTotalTokens();不同Provider的详细缓存Token可以通过统一Usage字段或getNativeUsage()读取。必须允许Usage为空这时标记为COST_UNKNOWN不要默认为0否则财务数据会被低估。六、成本计算器ComponentpublicclassAiCostCalculator{privatestaticfinalBigDecimalMILLIONnewBigDecimal(1000000);publicBigDecimalcalculate(UsageSnapshotusage,ModelPriceprice){BigDecimalinputCostcost(usage.inputTokens(),price.inputPerMillion());BigDecimaloutputCostcost(usage.outputTokens(),price.outputPerMillion());BigDecimalcacheWriteCostcost(usage.cacheWriteTokens(),price.cacheWritePerMillion());BigDecimalcacheReadCostcost(usage.cacheReadTokens(),price.cacheReadPerMillion());returninputCost.add(outputCost).add(cacheWriteCost).add(cacheReadCost);}privateBigDecimalcost(longtokens,BigDecimalperMillion){if(perMillionnull){returnBigDecimal.ZERO;}returnBigDecimal.valueOf(tokens).multiply(perMillion).divide(MILLION,10,RoundingMode.HALF_UP);}}七、成本明细表CREATETABLEai_usage_record(idBIGINTPRIMARYKEY,request_idVARCHAR(64)NOTNULL,tenant_idVARCHAR(64)NOTNULL,user_idVARCHAR(64),business_sceneVARCHAR(64)NOTNULL,providerVARCHAR(64)NOTNULL,modelVARCHAR(128)NOTNULL,prompt_versionVARCHAR(64),input_tokensBIGINT,output_tokensBIGINT,cache_write_tokensBIGINT,cache_read_tokensBIGINT,model_call_countINTNOTNULL,tool_call_countINTNOTNULL,retry_countINTNOTNULL,estimated_costDECIMAL(18,10),cost_statusVARCHAR(32)NOTNULL,duration_msBIGINT,result_statusVARCHAR(32)NOTNULL,created_atTIMESTAMPNOTNULL);索引CREATEINDEXidx_ai_usage_tenant_monthONai_usage_record(tenant_id,created_at);CREATEINDEXidx_ai_usage_scene_monthONai_usage_record(business_scene,created_at);八、为什么要记录model_call_count一次ChatClient请求可能包含第一次模型选择工具 第二次模型读取工具结果 第三次模型修复结构化输出最终Usage可能是累计值但为了分析效率还要记录模型轮次。指标平均每个业务请求模型调用次数如果从1.3突然上升到4.8可能发生Tool循环输出修复重试Agent规划失效。九、Micrometer低基数指标ComponentpublicclassAiMetrics{privatefinalMeterRegistryregistry;publicAiMetrics(MeterRegistryregistry){this.registryregistry;}publicvoidrecordCost(Stringscene,StringmodelTier,BigDecimalcost){registry.counter(enterprise.ai.estimated.cost,scene,scene,model_tier,modelTier).increment(cost.doubleValue());}publicvoidrecordFallback(Stringscene,Stringreason){registry.counter(enterprise.ai.fallback,scene,scene,reason,reason).increment();}}不要把userId requestId conversationId作为Meter标签。十、预算表CREATETABLEai_budget(idBIGINTPRIMARYKEY,scope_typeVARCHAR(32)NOTNULL,scope_idVARCHAR(128)NOTNULL,budget_monthCHAR(7)NOTNULL,warning_amountDECIMAL(18,2)NOTNULL,hard_limit_amountDECIMAL(18,2)NOTNULL,currencyVARCHAR(8)NOTNULL,UNIQUE(scope_type,scope_id,budget_month));范围ORGANIZATION PROJECT TENANT BUSINESS_SCENE十一、预算检查publicBudgetDecisioncheck(StringtenantId,Stringscene,BigDecimalestimatedRequestCost){BigDecimalmonthCostusageRepository.sumMonthCost(tenantId,YearMonth.now());BudgetbudgetbudgetRepository.findTenantBudget(tenantId,YearMonth.now());BigDecimalprojectedmonthCost.add(estimatedRequestCost);if(projected.compareTo(budget.hardLimitAmount())0){returnBudgetDecision.BLOCK;}if(projected.compareTo(budget.warningAmount())0){returnBudgetDecision.WARN;}returnBudgetDecision.ALLOW;}请求前只能估算调用后再用实际Usage结算。十二、预算接近上限如何降级80% → 告警 90% → 默认切换低成本模型 95% → 关闭非核心AI功能 100% → 阻止请求或转规则系统模型路由publicModelTierroute(BudgetDecisiondecision,ModelTierrequested){returnswitch(decision){caseALLOW-requested;caseWARN-requested.downgrade();caseBLOCK-ModelTier.NONE;};}十三、429看板区分rate_limit_exceeded insufficient_quota project_spend_limit指标enterprise_ai_429_total{ reasonrate_limit }不要把所有429合并否则无法判断应该等待重试 还是 立即停止并调整预算十四、熔断与降级指标resilience4j_circuitbreaker_state resilience4j_circuitbreaker_calls_seconds enterprise_ai_fallback_total enterprise_ai_degraded_request_total看板应显示当前熔断状态最近打开次数降级模型比例转人工数量被预算阻止数量。十五、核心PromQL输入Token速率sum by (gen_ai_request_model) ( rate(gen_ai_client_token_usage_total{ gen_ai_token_typeinput }[5m]) )输出Token速率sum by (gen_ai_request_model) ( rate(gen_ai_client_token_usage_total{ gen_ai_token_typeoutput }[5m]) )模型平均耗时sum(rate(gen_ai_client_operation_seconds_sum[5m])) / sum(rate(gen_ai_client_operation_seconds_count[5m]))业务降级速率sum by (scene, reason) ( rate(enterprise_ai_fallback_total[5m]) )十六、日报接口GetMapping(/internal/ai-cost/daily)publicDailyCostReportdaily(RequestParamLocalDatedate){returnreportService.build(date);}返回{date:2026-07-31,totalCost:128.43,totalRequests:45210,costPerSuccess:0.0031,topScenes:[],topTenants:[],fallbackCount:318,rateLimitCount:26}十七、看板布局建议第一行今日费用 月度费用 预算使用率 成功请求 单次成功成本第二行请求趋势 Token趋势 P95延迟 错误率第三行模型成本占比 业务场景成本 租户成本Top10第四行429 熔断 降级 重试 Tool失败十八、需要防止的统计错误1. Tool Calling只算最后一次模型会低估成本。2. Provider未返回Usage时记0应该记未知。3. 价格更新后重算历史历史记录应使用调用当时价格版本。4. Prometheus值作为账单不适合最终审计。5. 把userId作为指标标签造成高基数爆炸。总结一个可用的AI成本看板必须把Spring AI Usage 模型价格 业务上下文 预算 429 熔断 降级组织在一起。Micrometer负责实时健康和趋势数据库明细负责按租户、场景和请求进行成本结算与审计。