用 Langfuse 给 LLM 账单做 CT 扫描：3 天砍掉六成的隐形开销

用 Langfuse 给 LLM 账单做 CT 扫描3 天砍掉六成的隐形开销【免费下载链接】langfuse Open source AI engineering platform: LLM evals, observability, metrics, prompt management, playground, datasets. Integrates with OpenTelemetry, LangChain, OpenAI SDK, LiteLLM, and more. YC W23项目地址: https://gitcode.com/GitHub_Trending/la/langfuse周五下午监控群里弹出一条消息本月 LLM API 账单环比涨了 43%但没人说得清多出来的钱花在哪一次调用上。这篇文章用 Langfuse——一个开源的 LLM 可观测性平台——把账单拆到单次调用粒度的成本再按顺序砍掉能砍的开销。15 分钟读完你能带走一套可落地的成本归因、模型降档和预算告警方法明天就能上手。先跑起来——5 分钟部署与最小集成先把服务拉起来确认链路通了再谈优化git clone https://gitcode.com/GitHub_Trending/la/langfuse cd langfuse docker compose up -d第一条把源码拉到本地第二条只是切换目录第三条用 docker-compose.yml 一键把 web 控制台、worker 后台任务和依赖的数据库、消息队列全部拉起来。启动后在控制台创建项目拿到 public key 和 secret key接入你的应用from langfuse import Langfuse langfuse Langfuse(public_keypk-lf-..., secret_keysk-lf-..., hosthttp://localhost:3000) trace langfuse.trace(namecustomer-support) generation trace.generation( namereply, modelgpt-4-1106-preview, # 成本就是按这个名字去匹配内置价格表的 input[{role: user, content: 怎么修改收货地址}], output{content: 在订单页可以修改}, ) generation.end() # 调用结束这次请求的 token 数与成本被记录跑通后每条 trace 下都挂着这次调用的 token 用量和折算金额。从这里开始账单不再是月度总额而是一张可以按模型、功能、用户拆的明细。堵住三个花钱黑洞黑洞一钱花得不明不白——单次调用没有成本归因现象账单只有月度总额你不知道第 40000 次调用花了多少钱也不知道是哪个功能在烧钱。对应模块Langfuse 给每次调用observation单独记账。核心逻辑在 packages/shared/src/server/repositories/observations_converters.ts 里的reduceUsageOrCostDetails函数——它把usage_details里的 token 数按模型单价折算成inputCost、outputCost、totalCost逐条落库。落地动作先在控制台确认每个 generation 都有成本字段为 null 的说明模型没匹配上价格表见文末踩坑再打开 web/src/features/dashboard/ 对应的看板按天和按模型看成本曲线把最贵的 10 次调用点进 trace 详情里看一眼原始输入输出。这一步不花一分钱但决定了后面所有优化的方向。黑洞二一个贵模型干所有活现象全部流量都打在最贵的模型上。用仓库内置价格表 worker/src/constants/default-model-prices.json 里的数字算一笔账gpt-4-1106-preview 输入约 $0.01/1K tokengpt-3.5-turbo-1106 输入约 $0.001/1K token同一个词元前者贵 10 倍输出侧差距更大。如果 80% 的流量是查订单改地址这类短问题全用高价模型就是纯浪费。对应模块模型单价与匹配规则维护在 worker/src/constants/default-model-prices.json控制台侧的模型管理在 web/src/features/models/想先小流量验证降档会不会掉质量用 web/src/features/experiments/ 跑一组 A/B。落地动作在 dashboard 里按模型聚合成本占比挑出占比最高、又最适合降档的功能切 10% 流量到低价模型跑一周用 experiments 对比评分再全量。黑洞三没人盯着——超支要到月底才发现现象某天上线了新功能调用量翻倍但一周后你才从账单里意识到。对应模块用量聚合与阈值判定在 worker/src/ee/usageThresholds/ 目录usageAggregation.ts负责按周期汇总用量thresholdProcessing.ts负责判定是否越线队列入口在 worker/src/queues/cloudFreeTierUsageThresholdQueue.ts。落地动作给自己定两条线——日成本上限和周成本上限越线即通知。另外注意这套逻辑放在ee/目录下属于云版/企业版能力自托管社区版没有现成界面可以只借鉴它按周期聚合作法的思路。优化策略一张表策略适用场景预期节省实施难度简单请求路由到低价模型60% 以上流量是 FAQ 类短问答30%~60%低裁剪输入去掉冗余历史、压缩长上下文多轮对话、整份文档塞进 prompt10%~30%中应用侧响应缓存Langfuse 负责度量重复输入占比重复问题占比 15% 以上15%~30%中日/周成本阈值告警任何生产环境兜底用避免整月超支低优先级排序的逻辑很简单先做零改动的——把成本归因和告警搭起来让问题暴露出来然后做低难度高收益的模型降档因为它直接砍单价收益与流量占比成正比通常是最先回本的一步输入裁剪其次因为它省的是用量而不是单价但做对了能叠加收益缓存放最后因为它需要你在应用层写去重逻辑且收益上限取决于你的重复率。Before / After——一个场景的数字对比拿某类电商客服机器人场景算一笔账数字基于内置价格表估算用于演示方法优化前月账单约 $13,500100% 调用走 gpt-4-1106-preview平均每次输入 1,500 token。三周后月账单约 $5,300降幅 60%60% 调用切到 gpt-3.5-turbo高价模型只处理 40% 的复杂问题平均输入降到 1,200 token降了 20%。贡献最大的是第一行策略——模型降档把六成流量从 $0.01/1K 的输入单价挪到 $0.001/1K 的模型上仅此一项就省掉了大头输入裁剪是第二贡献者缓存在这类场景里锦上添花。对照上一节的表格看难度最低的两行降档 告警恰好覆盖了最大和最小的两头这也是它排在前面的原因。踩坑提醒 继续深挖模型名对不上成本会悄悄变 null。matchPattern是正则价格表里的规则带(?i)忽略大小写、兼容openai/前缀但你的 SDK 上报gpt-4-1106-2024-01-25这种带日期的全名时若没有对应规则这条调用成本就是空值不会报错只是从统计里消失了。发现看板成本比供应商账单少八成是这个原因。token 数是估算值别拿它对账。价格表里每条记录都带tokenizerConfig比如tokensPerMessage: 3会按消息条数加固定开销所以 Langfuse 统计的 token 和供应商账单不会分毫不差用它看趋势和占比可以逐笔核对不行。别在 Langfuse 里找缓存开关。仓库里没有内置响应缓存缓存得在你应用侧做Langfuse 的价值是告诉你重复输入占了多少比例、值不值得做。想继续往下看两个目录值得翻web/src/features/experiments/ 里 A/B 模型组合的完整实现以及 web/src/features/dashboard/ 里成本看板的查询逻辑。把这两处看懂你手上就既有尺子又有剪刀下个月的账单不会再是笔糊涂账。【免费下载链接】langfuse Open source AI engineering platform: LLM evals, observability, metrics, prompt management, playground, datasets. Integrates with OpenTelemetry, LangChain, OpenAI SDK, LiteLLM, and more. YC W23项目地址: https://gitcode.com/GitHub_Trending/la/langfuse创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考