ProofHound 是一个自托管的 Prompt 全生命周期管理平台，适合用在需要持续调优提示词、验证模型输出质量、追踪实验结果和管理上线版本的场景。 它把模型配置、数据集、提示词版本、实验、自动优化、发布、运行结果、人工标注、Webhook 和 MCP 工具入口放在同一个工作台中。使用者可以用真实数据集验证 Prompt 表现，根据指标定位失败样本，再通过实验或自动优化生成更好的版本，最后把验证过的版本发布到线上调用链路。 ## 适合谁使用 - 需要长期维护 Prompt 的 AI 应用团队。 - 需要用数据集回归验证 Prompt 效果的产品、运营、风控、客服、金融分析等团队。 - 希望把 Prompt 调优从脚本和表格迁移到可视化流程中的团队。 - 需要自托管、自己管理模型 API Key 和数据的用户。 - 需要通过 Webhook 或 MCP 把 Prompt 管理能力接入外部系统或 Agent 的用户。 ## 基础使用方法 ### 配置模型 进入“模型”，点击新建模型。 需要填写： - 名称：例如 `gpt-4o-prod`、`deepseek-chat`。 - 厂商类型：选择 OpenAI、Anthropic、DeepSeek、Qwen 等。 - 模型 ID：填写供应商实际的模型名称。 - Endpoint：填写模型 API 地址。 - API Key：填写自己的模型调用凭证。 - 上下文窗口：模型最大上下文长度。 - RPM、TPM、并发上限：用于控制调用速度，避免触发供应商限流。 - 输入/输出 Token 单价：用于估算实验和生产调用成本。 保存前可以使用“测试连通性”确认模型可用。模型配置完成后，实验、优化和发布都可以选择该模型。 ### 导入数据集 进入“数据集”，点击新建或上传数据集。 支持的数据格式包括： - CSV - TSV - JSONL - JSON 数组 - ZIP 导入时需要确认字段角色： - ID 字段：样本唯一标识。 - 输入字段：会映射到 Prompt 变量，例如 `text`、`question`、`content`。 - 图片字段：多模态模型可使用。 - 期望输出：用于判定模型输出是否正确。 - 元数据字段：用于分析、筛选或辅助定位问题。 建议先准备一个小数据集完成首次验证，再导入更大的正式回归集。 ### 创建提示词 进入“提示词”，点击新建提示词。 创建后会生成一个可编辑的 v1 版本。你可以继续配置： - Prompt 正文。 - 输入变量，例如 `{{text}}`、`{{question}}`。 - 输出字段，例如 `label`、`reason`。 - 判定规则，用于把模型输出和数据集里的期望输出进行比较。 提示词版本一旦被实验、优化或发布引用，会自动冻结。后续修改会形成新版本，旧版本仍可追溯。 ### 运行实验 进入“实验”，点击新建实验。 选择： - 提示词和版本。 - 数据集。 - 模型。 - 温度、并发、RPM、TPM、超时时间、重试次数等运行参数。 提交前系统会检查变量和数据集字段是否对齐。实验运行后可以查看： - 总样本数、已处理样本、失败样本。 - Accuracy、Precision、Recall、F1 等质量指标。 - 每个类别的指标和混淆情况。 - 每条样本的输入、输出、期望结果、判定结果和失败原因。 - Token 消耗、成本估算和延迟。 实验结果是后续优化和发布的重要依据。 ### 使用自动优化 进入“优化”，点击新建优化。 可以从三类起点开始： - 从已有实验开始：适合基于一次失败较多的实验继续优化。 - 从提示词开始：适合已有 Prompt，但还没有明确基线实验。 - 从数据集开始：适合先围绕数据集建立优化任务。 ### 创建发布 进入“发布”，可以创建 production 发布或在已有发布线路上增加灰度候选。 典型流程： 1. 选择已验证的提示词版本。 2. 选择模型。 3. 选择输入连接器，例如 Webhook、Redis 或 Kafka。 4. 配置字段映射，把外部消息字段映射到 Prompt 变量。 5. 配置流量模式，例如 production 100%、灰度切流或双跑观察。 6. 设置运行参数和输出连接器。 发布后，线上调用会写入统一运行结果，方便查看实际生产效果。出现问题时可以在发布详情中回滚或停止。