Agent上线验收比普通问答应用多了一层风险：它不仅生成内容，还可能选择工具、读取业务数据并执行动作。离线问题集分数很高，不能证明权限不会越界；权限配置正确，也不能证明复杂任务结果可接受；两者都顺利获得，仍可能在真实流量和系统变化后逐渐偏离。

验收应把权限、评测、运行观测设为三道独立门。每道门回答不同问题，由拥有相应责任的角色签收，再决定上线范围。本文不设通用准确率或性能阈值，具体标准由业务后果和目标环境确定。

权限门先限定Agent能接触和执行什么

权限验收要覆盖用户身份、Agent身份、工具动作、数据对象、环境和有效时间。用户能访问某系统，不代表Agent可以代表用户执行所有操作；Agent能使用某工具，也不代表它能访问所有对象和参数。

选择一个正常身份、一个受限身份和一个已撤权身份执行同一任务。检查知识读取、模型上下文、工具发现、调用与审批是否一致。对于写入动作，再验证目标对象、参数范围和是否需要人工确认。

服务账号应单独审查。若下游只看统一高权限账号，平台必须证明用户级策略在调用前执行并留下记录。权限拒绝也要清楚传回Agent，不能被模型解释为“换一种方式尝试”。

权限门验收的是最坏情况下Agent仍不能做什么，而不是正常情况下它能做多少。 越权、审批绕过和撤权不生效应独立阻断。

评测门使用任务级样本，而非只评分单轮回答

Agent任务可能包含计划、检索、工具选择、参数、动作和最终回复。评测应覆盖整个任务轨迹：是否理解目标，选择了正确工具，参数符合规则，异常时停止或转人工，业务结果是否可接受。

问题集应包含正常任务、信息不足、冲突指令、工具不可用、权限拒绝和需要人工判断的任务。每条样本标注预期结果与禁止行为。高风险动作的禁止行为比平均得分更重要，例如不得自动扩大权限、不得在未知结果时重复写入。

评测还要绑定Agent、Prompt、模型、工具目录和策略版本。任何一个对象变化，都可能改变任务轨迹。没有版本关系的分数不能作为发布证据。

三柱门防止一项优势掩盖另一项缺口

下图把权限、评测和运行观测画成三根独立支柱。阅读时检查每根柱子的证据和签收者：安全或数据角色关注权限，业务与应用角色关注任务结果，平台与运维角色关注上线后的状态与处置。

三柱之间有连接，但不应合成总分。评测优秀不能抵消越权；权限严格也不能证明结果有用；离线都顺利获得却没有观测，平台无法发现工具、模型和业务环境变化后的退化。

汇总结论可以限制用户、工具、动作和流量。例如只读任务三柱完整，可以先上线；写入任务若评测不足，则保持人工确认；某个工具审计不完整，则从目录中排除。

运行观测门要看任务轨迹和业务结果

传统接口指标仍然重要，但Agent还需要任务级事件：计划步骤、模型与Prompt版本、工具调用、策略决定、审批、重试、人工接管和最终业务状态。只有模型延迟和错误率，无法解释为什么任务做错。

观测应支持从用户反馈回到任务轨迹，也能从工具异常找到受影响任务。敏感Prompt、工具参数和结果不应无边界采集；可以脱敏、摘要、采样或限制查看，但要保留足以定位身份、对象和状态的关联信息。

上线前可模拟一次工具超时或权限拒绝，让值守人员从告警定位任务，判断是否暂停、重试、补偿或接管。观测若只能展示错误，却不能支持行动，还不足以签收。

分阶段放行比一次全量上线更安全

第一阶段选择只读、低风险、结果可人工核对的任务，限制用户和工具。第二阶段扩大真实流量并观察评测分布、权限拒绝、工具失败和人工接管。第三阶段才考虑写入或更高自动化，并为高风险动作保留审批。

每阶段都要有退出条件。例如越权样本出现立即暂停相关工具；业务错误超过企业自定容忍范围时回退版本；观测中断时停止扩大流量。条件必须能由平台或运维流程执行，不是仅写在方案里。

上线观察期要保留基线和对照。模型、Prompt、工具或业务流程变化后，比较任务成功、拒绝、接管和业务结果，而不是只看总请求增长。

哪些问题应阻断上线

以下问题通常不适合条件放行：Agent能绕过用户权限访问数据；高风险动作无需必要审批；工具超时后发生重复不可逆执行；评测样本暴露系统性错误却无停止方式；任务轨迹无法关联实际业务动作；人工接管缺少上下文或权限；关键观测中断无人发现。

一般文案风格、非核心场景效果或展示报表问题可以限期优化。区分阻断与优化的依据是后果、可发现性、可隔离和恢复，而不是缺陷数量。

上线决定必须同时回答“允许做什么、做得是否可接受、出问题能否及时看见并接住”。 任一答案缺失，都应缩小自动化范围。

验收证据由三类角色分别签收

安全或数据角色签收身份、权限、拒绝和审计；业务与应用角色签收任务样本、禁止行为和结果；平台与运维签收发布、观测、停止、回退和接管。项目或采购角色汇总范围与未完成条件，但不代替专业签收。

证据应包含配置和运行两类材料。配置说明计划如何控制，运行事件证明控制实际生效。只看角色截图或评测报告，都会遗漏另一半。

用一个高频任务完成首轮上线验收

选择高频、边界清楚且后果可控的任务，准备正常、拒绝、工具失败和转人工样本。完成三柱测试后，只在证据交集内放行。更多Agent和企业AI治理主题可浏览 AI基础设施分类；整体方案信息可在核验后查看 AI解决方案。

扩大范围前还应比较观察期内的拒绝、接管与业务结果，确认新增自动化不会把人工风险隐藏起来。

上线范围扩大前，还应由业务人员抽查线上任务结果，并核对接管事件是否在可接受时间内完成闭环。

运行观察期间应记录人工修改、拒绝和异常停止，将这些真实事件补进评测集后再决定是否扩大自动化。

样本扩充后应由业务和安全共同审核，避免线上偶发噪声直接改变验收标准。

常见问题

Agent评测顺利获得后还需要运行观测吗？

需要。离线评测只覆盖已知样本、固定版本和受控环境。上线后会出现新表达、真实权限、工具变化、下游故障和业务流程调整，任务分布也会改变。没有运行观测，团队无法知道评测结论何时失效。

• 关联任务、Agent、Prompt、模型、工具和策略版本
• 观察拒绝、工具失败、重试、接管和最终业务状态
• 将用户反馈回连到任务轨迹和评测样本
• 在关键观测缺失时暂停扩大流量或高风险动作

运行数据还能帮助更新评测集，但采集应遵守企业数据边界。敏感内容可脱敏或受限查看，不意味着可以放弃事件关联。

还应从权限、任务评测和运行轨迹三根支柱分别取证，说明问题会限制哪个用户、工具或自动化阶段，而非给Agent一个总分。

权限验收应该以用户还是工具为对象？

两者都不够，应验证“用户或服务身份—Agent—工具动作—目标对象”的组合。用户有权打开系统，不代表Agent能代为写入所有记录；工具被批准，也不代表每个用户都能调用全部动作。

• 检查入口用户身份如何传到工具调用
• 区分查询、建议、可撤销写入和高风险动作
• 验证目标对象、参数、环境和授权有效时间
• 测试撤权、审批到期和统一服务账号的边界

验收证据要包含策略决定与工具实际执行。只看前端角色配置，无法证明下游没有使用更高权限身份。

还应从权限、任务评测和运行轨迹三根支柱分别取证，说明问题会限制哪个用户、工具或自动化阶段，而非给Agent一个总分。

哪些问题应当阻断Agent上线？

会造成数据或操作越界、不可逆重复执行、关键结果不可追溯、无法停止或无人接管的问题应阻断对应范围。系统性错误若可能直接触发业务动作，也不能靠平均评测分抵消。

阻断可以针对某个工具、动作、用户群或环境，不一定停止全部探索。项目应先隔离问题范围，修复后用原失败样本复验。对于影响可控、能回退且有明确观察期的问题，可采用条件放行，但条件必须能实际执行并有到期复核。

阻断解除后应使用原错误样本和真实身份复验，不能只补配置截图。

还应从权限、任务评测和运行轨迹三根支柱分别取证，说明问题会限制哪个用户、工具或自动化阶段，而非给Agent一个总分。