自建行为探针教程：6步用 gpt56_api_detector 探针生成器计算 S、D、w 参考基线

自建行为探针教程6步用 gpt56_api_detector 探针生成器计算 S、D、w 参考基线【免费下载链接】gpt56_api_detector用于检测api是否路由真实gpt5.6模型项目地址: https://gitcode.com/gh_mirrors/gp/gpt56_api_detectorgpt56_api_detector 是一款在本机运行的 GPT-5.6 API 行为检测工具它的探针生成器专门用于自建行为探针通过向可信 API 批量采样采集 Sol、Terra、Luna 三个模型的答案分布并自动计算三个关键指标——S模型区分度、D时间漂移、w参考权重为你生成一份可导入检测器的参考基线文件。本教程带你从零走完整个流程。先搞清楚探针生成器是做什么的内置的官方探针固定随机国家、固定随机鸟、b80 字符计数已经覆盖了常见检测场景但如果你想用自己的题面来观察模型行为就需要自建探针。生成器的工作流程可以用一句话概括用可信 API 采集三模型答案 → 统计类别分布 → 计算 S、D、w → 导出.gpt56probe.json参考文件⚠️ 一个重要边界自定义探针未经过发行版同条件验证导入检测器后只显示参考匹配度不产生正式强烈指向结论。它适合做探索性观察不能替代官方固定探针的正式结论。生成器的前后端源码分别在 gpt56_vnext/web/generator.html 和gpt56_vnext/generator.py指标计算核心在gpt56_vnext/probability_model.py。快速启动一键打开生成器系统启动方式Windows解压后双击Windows一键启动.batLinux / macOS运行sh start_detector.sh浏览器打开后默认进入检测器页面Web 入口为gpt56_vnext_web.py点击导航中的探针生成器即可进入六步流程。由于 git clone 暂不可用建议直接从官方 Release 页面下载最新版一键包。六步操作指南从可信连接到导出基线第 1 步填写可信 API 连接生成器需要一个能稳定路由到真实模型的端点来建立基线这里填的是可信端不是待测端API 地址可信 API 地址可填域名根地址程序自动补/v1Sol / Terra / Luna 模型名三个模型在可信端的实际请求名默认gpt-5.6-sol、gpt-5.6-terra、gpt-5.6-lunaAPI key仅保存在页面和后端内存中不写入计划、不写入导出文件第 2 步定义探针题面这是整个基线质量的关键。填写以下内容字段说明与建议探针名称例如随机国家便于识别probe_id只能含字母、数字、-、_例如rand_country_custom精确用户题面务必极短、稳定、答案易区分。官方建议只要求答案本身不要默认要求长解释答案归一化默认去首尾空白并转小写只有题目确实返回整数时才选整数思考强度可选low/medium/high等与正式检测保持一致 题面是探针身份的一部分同一题目改一个标点就是另一个探针基线不可混用。第 3 步配置采样计划默认参数对大多数场景足够每模型请求数默认 100决定分布估计的精度正式运行每格请求数默认 10即导入检测器后每个格实际抽样的条数并发数默认 20上限 32注意控制避免触发上游限流跨时间复测默认关闭。勾选后开启 4 个时间窗默认间隔 900 秒用于真实测量 D 指标——不勾选时 D 显示未验证单时间窗的 w 只是参考上限高级设置里还可以勾选原生 Codex请求格式和固定 32K历史但会显著增加请求量和 Token 消耗一般初建基线无需开启。第 4~5 步运行采集与统计点击开始采集后页面会显示实时进度、已完成/失败/重试数量。采样按窗口 × 模型 × 请求格组织任务支持中途停止与断点恢复状态持久化在本地 SQLite。采集完成后点击分析结果页面会展示三张核心表格区分度与稳定性表每格的 S、D、w 数值与时间稳定性状态三模型答案分布表各模型的主要答案与出现次数直观对比差异采样完整性诊断每个模型的窗口数、采样量、有效率和缺失情况如果提示采样不完整说明至少一个模型没取到样本建议检查 API 权限或网络后重采。第 6 步导出探针文件分析确认无误后进入导出页下载.gpt56probe.json文件或直接点击直接加入检测器导入。 安全边界导出文件只包含归一化计数、参考统计和内容哈希明确不含 API key 和端点地址导入时程序还会做契约校验出现禁止字段如api_key、authorization会直接拒绝。S、D、w 到底代表什么三个指标都建立在JSDJensen-Shannon 距离上——一种比较两组答案比例分布的度量0 表示两个分布完全相同越大表示差异越明显。指标含义解读S三模型可信答案分布两两之间的平均 JSD越大 这道题越能把三个模型区分开探针越有效D同一模型在不同时间窗之间的平均 JSD越小 该模型行为随时间越稳定单时间窗无法计算显示未验证w参考权重公式min(1, (S-D)/S)当 S≤D 或 S≤0 时为 0综合S 大且 D 小两个条件w 越接近 1代表模型差异明显且时间漂移小一句话理解S 回答这道题分不分得开D 回答标准答案本身稳不稳w 把两者合成一个 0~1 的质量分。w 为 0 的格在正式评分中不贡献证据——所以自建探针时看到 w 偏低就该换题面或增大样本。完整数学定义Laplace 平滑 α0.5、单格平均对数似然、家族合并可查阅 TECHNICAL_REPORT_CN.md冻结的可信基线文件为gpt56_vnext/baselines/trusted_fingerprint_v3.json。结果怎么用注意这些边界✅ 自建探针导入后检测器会显示参考匹配度适合横向对比、探索新题面❌ 自定义档不产生正式强烈指向结论正式结论只来自官方冻结探针 官方运行契约见gpt56_vnext/baselines/fingerprint_runtime_policy_v4_1_1.json⏱ 时间稳定性需要至少 2 个时间窗才可验证单窗口的 w 只能当作上限参考 指纹匹配度是答案分布的接近程度不是路由概率更不是身份概率小结准备一个可信 API → 写一道短而稳定的题 → 每模型采 100 条 → 分析 S、D、w → 导出参考基线。整套流程完全在本机运行key 不落盘、不进报告。用生成器给自己的检测场景定制探针比依赖内置三题能覆盖更多业务问题——但请记住它给出的是参考证据正式归责仍需官方探针结论加上服务方可核验的上游记录。【免费下载链接】gpt56_api_detector用于检测api是否路由真实gpt5.6模型项目地址: https://gitcode.com/gh_mirrors/gp/gpt56_api_detector创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考