大模型技术之-LangChain框架-03-LangSmith的使用

1、LangSmith概述1.1 什么是LangSmithLangSmith 是 LangChain 生态系统中专门用于 LLM大语言模型应用调试、监控、评估和管理的平台。 追踪tracing记录每次 LLM 调用的详细信息 监控monitoring实时查看应用性能 调试debug排查问题和优化性能 评估evaluate系统化测试 LLM 应用主界面1.2 具体功能功能1核心应用与开发1、Tracing追踪功能这是 LangSmith 最核心的功能。它会完整记录你大模型应用的每一次调用链路Trace。作用当你的 Agent智能体或 RAG 系统运行变慢或报错时点击进入对应的项目如上图中的langchain1.2_smith你可以看到每一步具体的 Prompt 是什么、模型返回了什么、消耗了多少 Token以及每一个链条节点的耗时非常方便排查 Bug 和优化性能。2、Monitoring监控功能提供生产环境的高级数据可视化看板。作用帮你从宏观角度监控应用在一段时间内的运行状况。你可以看到 Token 消耗趋势、QPS每秒请求数、错误率、平均延迟Latency以及成本预估。适合应用上线后观察系统的稳定性和开销。3、Datasets Experiments数据集与实验功能用于管理测试数据集并运行对比实验。作用你可以把用户的真实输入、特定的边界情况Edge Cases存为数据集。当你修改了 Prompt 或更换了底层大模型时可以在这里运行自动化对比测试直观看到新旧版本在同一批测试集上的表现差异。4、Evaluators评估器功能配置和自动化评估任务。作用大模型的输出往往难以用传统的断言Assert来测试。这里允许你配置基于规则如关键词匹配或基于模型LLM-as-a-judge的评估指标如答案相关性、是否包含幻觉等对追踪到的数据或实验结果进行自动打分。5、Annotation Queues标注队列功能人工反馈与数据清洗工具。作用在应用开发或初上线阶段你可以把一部分痕迹Traces发送到标注队列中让团队中的核心成员、业务专家或人工客服进行手动打分、纠正回答或贴标签这些高质量的人工标注数据后续可直接用于微调模型或充当测试集。功能2提示词与调试工具1、Prompts提示词管理功能类似“提示词版的 GitHub”。作用把 Prompt 从代码中解耦出来统一在云端管理。你可以在这里对 Prompt 进行版本控制如 v1、v2直接在代码中通过 API 动态拉取最新的提示词。它还支持团队协作和 Prompt 的分享。2、Playground演练场功能一个网页端的模型交互界面。作用无需写任何代码直接在这里选择不同的模型如 OpenAI、Anthropic 或是本地模型快速微调并测试你的 Prompt 效果还可以一键将调整好的 Prompt 保存到上方的 Prompts 仓库中。3、Studio工作室功能通常与 LangGraph 深度集成提供可视化的图形交互界面。作用如果你的应用是基于图结构Graph-based的复杂复杂 Agent 架构Studio 可以让你可视化地看到状态机State在各个节点之间的流转甚至支持在某个节点“暂停”手动修改数据后再继续向下执行是调试复杂智能体交互的利器。4、Context Hub上下文中心功能管理全局上下文或通用组件配置。作用用于存放可在多个项目或 Prompt 中复用的公共上下文模板、全局变量或系统预设提示。功能3部署与沙盒1、Deployments部署功能一键将你的 LangChain 应用或 LangGraph Agent 部署为线上可用的 API 服务通常依托于 LangGraph Cloud。作用提供开箱即用的生产端点帮你处理高并发、队列管理和状态持久化让你专注于编写业务逻辑。2、Sandboxes沙盒功能提供轻量级的在线运行和测试环境。作用在不污染生产环境的前提下供开发人员安全地试运行、测试新部署的 Agent 或执行自动化脚本。建议现阶段大家可以重点关注 Tracing观察你的项目里的调用细节和 Playground快速调优提示词。当你的应用结构开始走向复杂比如引入了复杂的 RAG 检索或多 Agent 协同时再逐步引入 Datasets 进行量化评估并利用 Studio 进行可视化调试。2、准备账号2.1 注册或登录步骤1访问官网访问 LangSmith 官网https://smith.langchain.com/步骤2自由选择注册或登录方式步骤3登录成功2.2 获取API_KEY步骤1打开设置步骤2创建API_KEY步骤3保存KEY注意点击copy将 API_KEY 保存到剪贴板并关闭弹窗API_KEY 只在上述窗口出现一次关闭弹窗后回到设置页面此后就无法在官网查看 API_KEY 的内容了请妥善保存。步骤4可选按需删除如果需要删除 KEY点击右侧图标即可。2.3 新增环境变量在.env配置文件中添加四个环境变量# 是否启用Langsmith监控功能LANGSMITH_TRACINGtrue# Langsmith监控WebUI地址LANGSMITH_ENDPOINThttps://api.smith.LangChain.com# 创建的API_KEYLANGSMITH_API_KEYYOUR_API_KEY# 自定义项目名称可以在Langsmith WebUI监控页面根据名称查看对应的运行记录LANGSMITH_PROJECTpr-clear-harmony-323、查看监控指标添加上述环境变量后在程序中通过load_dotenv()加载而后运行 LangChain 代码LangSmith 会自动记录运行指标并同步至后台服务我们可以在 LangSmith 官网查看运行记录。步骤1运行任意LangChain程序举例1importosfromdotenvimportload_dotenvfromlangchain_deepseekimportChatDeepSeek# 将env文件中的变量加载为环境变量#overrideTrue表示.env优先load_dotenv(overrideTrue)DEEPSEEK_API_KEYos.getenv(DEEPSEEK_API_KEY)DEEPSEEK_BASE_URLos.getenv(DEEPSEEK_BASE_URL)modelChatDeepSeek(api_keyDEEPSEEK_API_KEY,api_baseDEEPSEEK_BASE_URL,model_namedeepseek-v4-flash)print(model.invoke(你好))举例2fromlangchain.chat_modelsimportinit_chat_modelfromdotenvimportload_dotenvimportos load_dotenv(overrideTrue)CLOSEAI_API_KEYos.getenv(CLOSEAI_API_KEY)CLOSEAI_BASE_URLos.getenv(CLOSEAI_BASE_URL)modelinit_chat_model(modeldeepseek-v4-flash,model_provideropenai,api_keyCLOSEAI_API_KEY,base_urlCLOSEAI_BASE_URL)print(model.invoke(你好用一句话回答))举例3fromlangchain.chat_modelsimportinit_chat_modelfromdotenvimportload_dotenvimportosfromrichimportprintasrprint# 从.env文件中加载环境变量load_dotenv(overrideTrue)DEEPSEEK_API_KEYos.getenv(DEEPSEEK_API_KEY)DEEPSEEK_BASE_URLos.getenv(DEEPSEEK_BASE_URL)# 1. 初始化模型modelinit_chat_model(modeldeepseek-v4-flash,model_providerdeepseek,api_keyDEEPSEEK_API_KEY,base_urlDEEPSEEK_BASE_URL,temperature0.2,max_tokens500,# 指定可调整参数configurable_fields(model,model_provider,temperature,max_tokens),)# 2. 准备 config 字典config{run_name:joke_generation,# 在LangSmith中这次运行会显示为joke_generationtags:[my_tag1,my_tag2],# 打上标签便于分类查找metadata:{user_id:shkstart,# 记录用户IDsession_id:sess_123# 记录会话ID},configurable:{model:deepseek-v4-pro,# 配置模型参数model_provider:openai,# 配置模型提供商参数temperature:0.7,# 配置温度参数max_tokens:1000# 配置最大令牌数}}# 3. 调用模型并传入configresponsemodel.invoke(1 2 ,configconfig)rprint(response)步骤2打开监控界面此时在 LangSmith 官方 WebUI 的 Tracing 界面下可以看到按照LANGSMITH_PROJECT命名的项目。步骤3查看运行指标点击条目任意位置可以进入详情页面。此处列出了详细的运行指标点击某次运行记录可以查看更详细的信息自行探索。步骤4查看运行报表此处提供了大量指标的报表。点击上述标签或下滑页面可以切换指标。自行探索。