代理实际工作的地方：来自50多个企业级构建的现场笔记

在过去两年中，我为大型企业（银行、资本市场部门、财富管理公司、保险公司、健康保险公司、零售商、电信公司）构建了五十多个代理系统价值验证项目。这些项目涉及不同的技术栈、不同的监管环境以及对“完成”的不同定义。大约在构建到第三十个时，这种模式不再是新奇的，而是变得可靠。这是模式所能达到的最佳状态。枯燥的模式才是你可以押注路线图的模式。

这就是这种模式：代理系统在异常路径中证明其价值，而非理想路径。几乎所有企业流程的理想路径都已通过代码得到很好的支持。它具有确定性、高吞吐量、运行成本低，并且通常已经自动化过两次了。而异常路径则会遇到文件缺少页面、交易对手意见不一、三个系统报告三种不同真相，以及一个人花费四十分钟重建实际发生情况的问题。理想路径需要代码。异常路径需要判断力。代理系统是一种以机器速度获取判断力的方式，它们只有在判断力是瓶颈时才值得投入成本。

本指南是我在构建第五个项目时希望拥有的地图。它涵盖了代理式 AI 在这五十多个构建中实际发挥作用的领域，并以两种方式组织：按工作流形态（有用的抽象）和按行业（买家实际提问的方式）。文中不提及任何客户名称；机构被概括为真实的轮廓，例如“一家北美主要银行”。数字也以同样的方式概括，例如“数天缩短到数分钟”。如果某个项目失败了，我也会如实说明，因为失败和成功一样，都绘制了这张地图。

适用性启发式：偏差 × 工具数量 × 利害关系

在深入任何行业细节之前，这是我对每个候选用例运行的筛选测试。按顺序回答三个问题。

偏差。 单个案例与模板的差异有多大？如果 95% 的案例遵循相同的五个分支，那就编写代码。枚举这些分支，将其编码到规则引擎或决策表中，然后就完成了。在低偏差工作流中，代理系统纯粹是开销：更慢、更昂贵，并且在确定性是要求的地方，却是不确定性的。高偏差则发出相反的信号。当每个案例都是一个略有不同的混乱局面时，分支枚举永不收敛，手工编码决策树的维护成本将超过能够理解情况的模型的运行成本。

工具数量。 这是我的简称，我在很多场合都说过，现在我将它诉诸文字：三个工具与十个工具。如果工作流以固定顺序触及三个系统，那么编排是一个已解决的问题。编写三个调用，连接错误处理，然后发布它。如果工作流需要十个工具，并且下一个正确的调用取决于上一个调用的返回值，那么你就不再是编写集成代码了。你是在手工编码一个规划问题，而这段代码在流程一变就腐烂了。这就是代理系统的规划循环开始赚回其开销的地方：不是因为模型很智能，而是因为替代方案是无人维护的决策树。

利害关系。 高利害关系并不会使代理系统不合格。它只会使无监督代理系统不合格。高偏差、高利害关系的工作流（裁决抵押贷款、审查信用证、分类预授权）通常是最佳的代理系统用例，前提是代理系统在控制平面内运行：验证门、捕获每个工具调用及其输入的审计追踪、在关键决策点设置人工检查点，以及当代理系统不可用或不确定时的确定性回退。我在治理代理式 AI中深入探讨了控制平面架构；本指南将其视为既定事实。

网格版本，因为人们会把幻灯片上的网格拍下来：

偏差	利害关系	构建内容
低	低	代码。不要想太多。
低	高	代码加规则引擎加审计追踪。确定性是其特点。
高	低	轻量级代理，事后审查，通过评估改进。
高	高	控制平面内的代理：验证门、人在回路检查点、确定性回退。

工具数量是每个单元格内的决胜因素。即使在高偏差情况下，三个工具也会让你倾向于代码。即使偏差看起来适中，十个工具也会让你倾向于代理系统，因为十个系统上的适中偏差会复合形成比任何人能枚举的都多的分支。

评论：如果你的代理演示只展示了理想路径，那么你演示的是流程中最不需要代理系统的部分。

四种工作流形态

在五十多个构建中，几乎所有成功案例都归结为四种形态。不同行业以不同方式修饰它们，但承重结构重复出现。对于每种形态，我将给出相同的四个答案：代理做什么、什么保持确定性、人在哪里介入以及衡量什么。如果供应商或内部团队无法给出关于其代理系统的这四个答案，那么他们只是一个演示，而不是一个设计。

审查：文件对照规则手册

一份或多份文件对照成文标准进行比较。信用证对照 UCP 600 审查。理赔裁决对照保单条款。核保提交对照承保意向指南。规则手册稳定且有版本；输入是混乱的、扫描的、不一致的。这种不对称性就是全部机会。

代理做什么。 读取混乱的输入，提取并规范化字段，逐字段对照规则手册进行比较，并撰写差异说明，训练有素的人可以在几分钟内验证，而不是花费数小时重建。

什么保持确定性。 每一个无需解释即可编码的规则。日期算术、容忍阈值（UCP 600 的数量容忍度是算术性的，而非判断性的）、路由逻辑和最终状态转换。代理提出建议；代码进行处理。

人在哪里介入。 审查超出重要性阈值的标记差异，并且始终在拒绝或否决决策上。任何人的文件都不会仅由模型拒绝。

衡量什么。 每个字段的差异精确度和召回率，对照经验丰富的审查员。最重要的数据是错误通过率：遗漏的差异意味着根据不合规文件付款，这种失败在变得昂贵之前是无声的。

调查：跨系统证据

从多个来源收集证据，调和冲突，并综合形成一个案例。KYC 调查。网络事件分类。定义性特征是没人能预先知道哪些来源对这个特定案例是重要的，而正是这种特性扼杀了手工编码的管道。

代理做什么。 规划其在注册表、观察列表、文档存储、日志和内部系统中的查询。调和冲突证据（两个注册表，两种拼写，一个实体）。生成带有引用来源记录的案例文件。

什么保持确定性。 强制来源清单。代理不能因为“感觉自信”就跳过制裁筛查。风险评分公式也保留在代码中，以及升级阈值。代理收集证据；公式将证据转化为分数。

人在哪里介入。 在处置上，以及不可协商地在不利处置上。代理的工作是让人类组装的四十分钟消失，而不是让决策消失。

衡量什么。 证据完整性：代理实际查阅的强制来源百分比，从工具调用日志中衡量，而不是从提示中假定。引用准确性：案例文件中的每个主张是否都能追溯到真实的来源记录。然后是处置时间，这是业务购买的数字。

分类与解决：分类，然后选择路径

异常到达；某些东西不匹配。采购订单差异、失败的支付、发货通知差异、发票与收据不符。工作流是诊断后选择补救路径。

代理做什么。 从证据中诊断异常，并从有限的菜单中选择补救路径。门一到门七。代理选择门；它从不在运行时构建新门。

什么保持确定性。 补救措施本身。每条路径都是预构建、测试过的确定性流程。代理的权限止于选择；执行是代码。

人在哪里介入。 在执行前批准不可逆或高价值的路径，并拥有“以上皆非”队列。该队列不是失败；它是你设计下一个补救路径的积压工作。

衡量什么。 对照标记的黄金集，正确路径率。自动解决率。以及错误路径的成本不对称性，因为这种不对称性，而非平均准确性，决定了审批门槛的位置。

礼宾：生成式 UI 引导的旅程

代理引导一个人完成多步骤流程的旅程：账户开户、复杂采购、服务请求。关键的设计选择，是艰难学到的，即生成式 UI 优于聊天。代理生成界面的下一步（预填充表单、确认摘要、做出选择），而不是进行对话。人们完成表单。他们放弃对话。

代理做什么。 驱动旅程，根据已知的用户和案例信息调整下一步，预填充可填充内容，并解释所需内容及原因。

什么保持确定性。 底层的流程状态机。验证规则、合规步骤（身份检查、适用性）以及可显示数据的边界。代理修饰状态机；它不取代它。

人在哪里介入。 客户是人在回路，一步一步地。在受监管的旅程中，有第二个人：后台审核员，在任何具有约束力的事件发生前签字批准。

衡量什么。 对照静态表单基线的完成率。人们在哪里放弃。修正率（代理预填充值被覆盖的频率）。升级到人工处理的频率。

四种形态，并排比较：

形态	代理的工作	确定性核心	人在哪里介入	北极星指标
审查	提取、比较、撰写差异说明	规则手册计算、阈值、路由	拒绝/否决的批准	错误通过率
调查	收集、调和、构建案例	强制来源、评分公式	最终处置	证据完整性
分类与解决	诊断、选择补救路径	补救流程本身	不可逆路径的批准	正确路径率
礼宾	驱动旅程、生成下一步	流程状态机、合规门	旅程（加审核员）	完成率

在行业巡礼之前，关于底层实现的一点说明。我在 Camunda 上构建这些，因为我希望确定性核心、人工任务和审计追踪都在一个编排层中，但四种形态中的任何一种都不依赖于这个选择。同样的设计可以移植到 Temporal、带有适当状态存储的 LangGraph，或者严谨的纯 Node.js。形态优先，产品次之。

银行业务：案例文件规模的调查

旗舰银行构建，在包括加拿大五大银行在内的多家机构中以不同变体重复出现，是一个 KYC 调查代理：身份验证、文档分析、制裁和负面媒体筛查，以及结构化证据输入风险评分。真实的成果形态是案例准备时间从数天缩短到数分钟。不是决策时间，而是准备时间。分析师从组装案例转变为审查案例，这既是生产力提升，也是控制：人类仍然拥有每一个处置权。围绕这个核心，还有其他银行构建：信用和抵押贷款裁决，对工作产品设置判断代理验证门；支付异常处理（纯粹的分类形态）；以及开放银行流程，代理在机构间编排经同意的数据访问，我曾在 Camunda 博客上公开发表过关于这种模式的文章。

银行业务之所以适用，是因为 KYC 调查形态的典型案例。每个案例都是一个不同的混乱局面：分层公司结构、跨脚本的名称变体、自相矛盾的注册表数据。分支枚举永不收敛，在你列完观察列表之前，工具数量早已超过十个。它是网格中最清晰的高偏差、高利害关系单元格，这也是为什么它需要我构建过的最重的控制平面。

银行业务中的陷阱是让代理计算风险评分。它会乐意这样做，而且听起来很有权威性。保持职责划分清晰：代理提供证据，评分来自模型风险团队可以阅读、版本化和挑战的公式。监管机构询问“为什么是这个评级”时，会得到一个基于人工可检查证据和确定性公式的答案。“模型权衡了因素”不是一个答案，根据我的经验，机构比其供应商更早知道这一点。

资本市场：规则手册是馈赠

我引用最多的构建是信用证对照 UCP 600 审查：信用证、发票、提货单和支持证书之间的逐字段差异检测，当提取置信度低于阈值时，确定性回退到人工审查。价值验证中衡量的形态是每套文件从数小时缩短到数秒。我将立即给出诚实的警告：这个数字来自一个精心策划的文档集。生产扫描更差，手写体存在，回退路径不是可选的额外功能，它是这个数字得以存在的原因。与信用证审查并列的是交易对账、交易后补救以及交易请求和异常管理，所有这些都变成了分类形态：代理对中断进行分类并选择补救措施，代码执行它。

资本市场之所以适用，是因为它为你提供了这项工作中最稀有的资产：一个稳定、有版本、外部治理的规则手册。UCP 600 自 2007 年以来没有改变。输入是混乱的，标准是坚如磐石的，审查形态的代理恰好存在于这个空白中。文件审查员稀缺、昂贵且正在退休；这个构建的需求侧从来不难解释。

陷阱是将代理的“合规”视为最终结果。信用证审查中的错误通过意味着银行根据不符文件付款，损失在几个月后带着别人的签名到来。这个构建的每个严肃版本都保留了人工抽样制度，重新审查一部分“干净”的裁决，错误通过率显示在仪表板上，部门负责人可以看到。当抽样率趋近于零时，控制就失败了，无论准确率图表怎么说。

财富管理：必须赢得顾问信任的礼宾

对于财富管理公司，我构建了带有生成式 UI 的开户礼宾（旅程形态，正如上文所述）以及一个风险评估加投资组合推荐流程，其中代理起草，顾问审查。开户工作让我确信生成式 UI 在旅程中优于聊天：完成率，而非对话质量，是衡量指标，步骤式界面能够完成。推荐流程是人在回路的放置最为重要的地方。代理组装客户画像并起草提案；适用性规则确定性运行；顾问审查、编辑并对客户看到的内容负责。

财富管理也是我的评估实践成熟起来的地方。在一家北美主要银行进行价值验证时，我们在实际工作流上对模型进行基准测试，而不是信任分级定价，发现中等层级模型以大约 1/13 的成本达到了高级模型的准确性，工具跳过率从日志中衡量，而非假定。这一发现改变了我此后每个构建的范围界定方式，也是评估代理系统的起源故事。这个普遍的教训是通用的：在代理工作流中，工具循环和防护措施比原始模型质量发挥更大的作用，所以付费前先衡量。

财富管理中的陷阱是，因为草稿看起来很完善，就直接将推荐发送给客户。完善正是风险所在。流畅但错误的投资组合提案比笨拙的更危险，因为其表面没有任何地方会引起审查。顾问审批门槛不是一个可以被优化掉的过渡性安排；在适用性制度下，它就是产品本身。

保险：核保即审查加判断

保险构建是商业财产险和意外险核保支持：跨提交文档（损失记录、价值清单、将一个重要事实埋在第九段的经纪人邮件）的文档智能、确定性承保意向和风险规则，以及一个判断代理在核保人看到之前验证组装好的工作产品。成果形态是提交到报价就绪时间从数天的组装缩短到不到一小时的审查，每次提取和每次规则触发都记录在审计追踪中。该系统从第一个冲刺开始就按照监管机构的要求设计，而不是后期改造，因为在保险业，审计故事是销售的一部分。

核保之所以适用，是因为它是审查形态，并带有调查的修饰。承保意向指南是规则手册；提交是混乱的文档集；偏差巨大，因为没有两个商业风险是以相同方式描述的。工具数量也达到了标准，一旦你计算了损失记录解析器、财产数据服务、制裁检查和内部风险暴露系统。

陷阱是将承保意向规则埋在提示中。它在演示中有效，然后它会悄无声息地漂移，以一种风险官无法检查的方式。决定承保人是否接受风险的规则应属于规则引擎（DMN 或同等），核保领导层可以在没有提示工程师在场的情况下阅读、版本化和更改。代理的工作是构建提交，以便规则能够触发，而不是成为规则的未版本化副本。

医疗保健：在安全的地方提速

对于一家主要的美国健康保险公司（如本文所有内容一样，已概括），我构建了理赔处理和预授权式分类。设计原则是不对称自动化：代理加速审批并收集证据，而人类拥有每一个拒绝权。审批形态的案例会确定性地对照临床标准进行检查，并在几分钟内完成。走向拒绝的案例会获得一个完整、有引用的证据包和一名人工审查员，仅此而已。衡量的形态是审批队列从数天缩短到当天完成，而拒绝决策质量变得更好而不是更快，因为审查员从已组装的案例开始，而不是从一堆文件开始。

医疗保健 cleanly 适用于这些形态（理赔是审查，预授权分类是分类），但它值得拥有自己的部分，因为利害关系不对称，设计必须对此进行编码。缓慢的审批会花费金钱。错误的拒绝会造成医疗损失，然后是诉讼，然后是头条新闻。任何将这两种错误视为同一类缺陷的架构，在编写第一行代码之前就是错误的。

陷阱，显而易见但需要说明，因为行业一直在尝试，就是自动化拒绝。在我工作的任何行业中，放置模型自主性的最糟糕的地方：法律风险高，道德上站不住脚，声誉上具有放射性。能够销售并存活的推销是更快的“是”和准备更充分的“也许”。我拒绝构建其他版本。

零售：财富十强规模的异常处理

对于财富十强规模的零售商，我构建了订单和采购订单异常分类：数量不匹配、价格争议、发货通知差异、发票与收据不符。纯粹的分类形态。代理对异常进行分类，收集两三个能消除歧义的事实，并将其路由到一组有限的补救流程之一；高价值和不可逆路径排队等待人工审批。在这种规模下，算术是直白的：异常量如此之大，以至于 60-70% 范围内的自动解决率能带来真正的收益，剩余队列在预分类并附带证据的情况下到达，也使人工处理部分更快。

零售之所以适用，是因为偏差恰好存在于高吞吐量的地方。理想路径（订单下达、发货、收货、付款）在几十年前就已自动化。异常长尾从未自动化，因为每个异常都是独一无二的，而独一无二的案例正是适用性启发式所选择的。第二个零售线索是代理商务，应用于采购的礼宾形态，我将其在架构上保持分离，因为一旦代理能够花钱，控制问题就改变了性质。这个问题有其自己的协议界面和指南：AP2 现场指南。

陷阱是追求 100% 自动解决。最后十分之一的异常不像前九个：欺诈存在于此，真正新颖的失败存在于此，自信但错误的补救措施会冲销真金白银。根据价值和可逆性限制代理的权限，将“以上皆非”队列保留给人工处理，并将该队列视为下一个补救路径的设计积压，而不是要归零的缺陷计数。

电信：作战室前的分类

电信构建是 NOC 事件分类：一个代理应对告警风暴，跨网络层和元素管理器进行关联，提取变更记录和拓扑，并生成包含可能原因、影响范围和建议的下一步诊断的事件摘要。时间压力下的调查形态。成果形态是首次有意义行动时间从数十分钟缩短到几分钟，这在中断中是唯一一个人们关心的时钟。

电信之所以适用，是因为事件证据是分散设计的：告警在一个系统，变更在另一个，拓扑在第三个，客户影响在第四个。关联是工作，每个事件的关联方式都不同，工具数量轻松超过十个。这也是一个罕见的案例，其中“用户”是在压力下的专家，这提高了摘要质量的标准：错误的可能原因不仅浪费时间，还会将整个作战室引向错误的层面。

陷阱是衡量生成的摘要，而不是操作员行为的改变。如果网络运营中心在阅读代理摘要后仍然打开相同的五个控制台并运行相同的手动关联，那么你构建了装饰品，而且是昂贵的装饰品。记录操作员接下来做什么。并严格限制补救措施：代理可以在没有审批步骤的情况下重启实时网络上的元素，那它就不是一个分类代理，而是对网络未经审查的更改，并附带了一个语言模型。

跨领域经验教训

有四个经验教训经受住了与上述每个行业的接触。

文档智能是主力。 五十个构建中不那么光鲜的真相：在大多数项目中，交付价值的大部分是将混乱的文档转化为结构化、置信度评分的声明。信用证、损失记录、KYC 文件、预授权包、经纪人邮件。没人会在主题演讲幻灯片上展示提取，没有它，下游的一切都无法存活。如果我只能为一个企业代理项目资助一项能力，那就是这项。

判断代理作为验证门。 第二个模型，使用不同的提示，理想情况下是不同的模型家族，在到达人工或记录系统之前，对照明确的规则检查第一个代理的工作产品。我在抵押贷款裁决和核保中使用了这个方法，它是堆栈中最便宜的保险。它不会让第一个代理更智能；它会在失败复合之前使其可见，并且它捕捉到每次发布评估都会遗漏的漂移，因为它在每个案例上运行。

每个面向生产的系统都有确定性回退。 代理不可用，提取置信度低，成本预算超出，判断裁决失败：案例路由到预先存在的手动或编码路径。系统降级到昨天的流程，而不是什么都没有。这也是，悄悄地，让风险和合规团队签字批准的原因。推销的不是“信任代理”，而是“最坏的情况是你已经在运行的流程”。

人在回路的放置是一个设计决策，而不是事后考虑。 在行动不可逆或高价值时，先批准后行动。在行动容易撤销时，事后审查。在吞吐量不允许全面审查时，采用抽样制度。每种放置方式都以不同的风险换取吞吐量，选择应在设计研讨会中做出，而不是在试点报告发布后的恐慌一周内。我见过的每一个失败的人在回路案例，都是默认选择而非决策选择的放置方式。

哪些不起作用

诚实的部分，因为失败绘制了这张地图。

低偏差工作流被强行引入代理。 最明显的案例是访问管理审批流程。审批逻辑是一个矩阵：角色、资源、敏感度、管理链。完全可编码。我们最初草拟的代理版本更慢、更昂贵，并且在安全团队需要确定性的地方却是不确定性的。代码赢了，而且差距很大。唯一存活的代理是在接收端的一个轻量级代理，将自由文本请求解释为结构化请求，这换个名字就是文档智能。偏差低，工具只有三个，启发式方法在我们之前就有了答案。

聊天界面被强加到没人要求的流程上。 早期，不止一次，我发布了“与你的流程聊天”，因为它演示效果极佳。每次都在会议上给人留下深刻印象，但在试点中失败。用户的工作是一个队列，他们希望队列得到处理，而不是关于队列的对话。我花了太长时间才阐明这个区别：旅程中的生成式 UI 有效，因为它推动用户前进；聊天作为现有流程之上的一层，为已经有更快界面的工作增加了翻译步骤。

自主性表演。 几个请求相当于将单个 API 调用包装在代理循环中，以便路线图可以说“代理化”。一个工具，一条路径，没有判断。这只是带有额外步骤和按令牌计费的函数调用。我现在在第一次会议上就说明这一点，这并没有让我付出任何代价：听到这些的团队会信任随后的建议。

评论：聊天窗口不是一个用例。如果用户的工作是一个队列，那就为队列构建。

一段话版本

在五十多个企业构建之后，这种模式变得枯燥而可靠：代理系统在异常路径中证明其价值，而非理想路径，因为理想路径需要代码，而异常路径需要判断力。用偏差 × 工具数量 × 利害关系筛选每个候选者（三个固定顺序的工具意味着编写代码；十个工具的顺序取决于数据，意味着代理系统可以赚回其开销；高利害关系意味着代理系统生活在控制平面内）。几乎所有成功案例都属于四种形态之一：审查（文件对照规则手册）、调查（跨系统证据）、分类与解决（分类，然后选择有限的补救路径）和礼宾（生成式 UI 引导的旅程，而非聊天）。在每种形态中，保持评分公式、规则手册和补救措施的确定性，在任何重要的事情前面放置一个判断代理，通过设计而非默认将人类置于决策点，并保持确定性回退，以便最坏的情况是你已经在运行的流程。在偏差低的情况下，代码胜出，诚实地说出这一点是在第一次会议上。

参考文献

• 治理代理式 AI，我的现场指南，涵盖了本文假设的控制平面架构：验证门、审计追踪、人在回路检查点、确定性回退。
• 评估代理系统，本文中“衡量而非假定”数字背后的评估实践，包括工具跳过率和成本与质量的基准测试。
• AP2 现场指南，适用于代理商务以及代理系统花钱时独特的控制问题。
• 使用 A2A 实现您的业务目标，第 1 部分和第 2 部分，我与他人合著的关于多代理协调的 Camunda 博客文章。
• 代理式 AI 助力开放银行，Camunda 博客文章，涵盖了银行部分中提及的开放银行流程。
• ICC 跟单信用证统一惯例 (UCP 600)，信用证审查构建背后的规则手册。
• 公共仓库和演示：github.com/letmereviewyourcode。