使用AI智能体构建应用-第十三章人类与智能体的协作

Alan

6 天前

随着智能体系统（Agentic systems）融入我们的工作流程，其成功不仅取决于原始能力，更取决于它们如何与人类协作。本章汇集了交互层面的机制（界面、不确定性信号、交接）和治理结构（监督、合规、信任校准），旨在将不透明的助手转变为可靠的队友。

有效的协作取决于对自主权的校准：知道智能体何时该独立行动，何时该提问，以及何时该完全听从人类的安排。我们将探讨**渐进式授权（progressive delegation）**的策略——从简单的草稿或建议开始，随着信任的增加建立更大的独立性——我们还将重点介绍如果发生错误，如何修复这种信任。

本书代码请见：https://github.com/alanhou/ai-agent。

角色与自主权

本节讲解了智能体系统如何从人工指导的执行转变为自主操作，以及人类的角色如何随之演变。随着智能体系统获得自主权，最重要的问题之一变成了：人类应该扮演什么角色？答案不是静态的。它根据任务、风险，以及最关键的——人类与智能体之间的信任程度而变化。本节探讨了这些角色如何随着时间的推移而演变，组织如何设计渐进式授权，以及随着智能体成为更有能力的协作者，协调人员、流程和期望需要做些什么。我们首先追溯从执行者到治理者的曲线，然后审视塑造采用和参与的组织动态。

智能体系统中人类角色的变化

随着智能体系统在组织内的扩展和成熟，人类协作者的角色也像技术本身一样发生了巨大的变化。在早期部署中，人类倾向于充当执行者（Executor），手动启动智能体任务并密切监督其输出。随着时间的推移，随着系统证明其可靠性并建立信任，人类的角色转向审核者（Reviewer）——监督关键检查点的决策，特别是对于高风险或受监管的领域。这种转变可以理解为通过四个角色的进程——执行者、审核者、协作者和治理者。每一个角色都标志着智能体自主权和人类责任的转变。图 13-1 可视化了这一曲线，强调了人类角色如何随着系统能力的提高而转变。该图总结了这些角色以及与之相关的界面需求。

图 13-1：智能体系统中人类角色的演变，随着智能体自主权的增长，人类从亲力亲为的执行者转变为高层的治理者。

最终，在成熟的工作流程中，人类成为协作者（Collaborator），实时与智能体共享上下文、指导优先级并完善输出。智能体可以起草方案、行动，甚至自主决定，但人类设定高级目标，并在需要细微差别、异常处理或道德判断时进行干预。在最高级的部署中，人类过渡为治理者（Governor）——定义政策边界，审计系统行为，并监督智能体系统如何在团队和职能部门之间进行交互。我们可以在 表 13-1 中清楚地看到这些职责。

表 13-1：人类-智能体协作中的角色、职责和界面需求

角色	人类职责	智能体自主权	界面需求
执行者 (Executor)	上传任务，审查每一个输出	极低——仅在受监督时行动	分步指导，紧密的反馈循环
审核者 (Reviewer)	抽查关键输出	中等——处理常规工作	仪表盘，异常标记，置信度评分
协作者 (Collaborator)	指导优先级，共同标注	高——起草方案，在监督下执行	共享的规划 UI，上下文标注
治理者 (Governor)	制定政策，审计决策，监督升级	治理规则内的自主权	政策配置界面，审计日志，可解释性工具

例如，在 摩根大通 (JPMorganChase)，其内部的 COiN（合同智能）平台最初由初级法律人员作为执行者，上传合同并审查系统提取的每一个条款。随着 COiN 的条款提取准确率超过企业阈值，经验丰富的律师转变为审核者角色，仅关注非标准或边缘情况的文档。高级顾问现在担任治理者，定义提取政策，审计系统行为，并指导 COiN 扩展到新的合同类型。这种从人工执行到政策治理的结构化授权，提供了一个清晰的例子，说明人类角色如何随着自主权而演变。

同样，GitLab 的安全机器人最初也是处于经典的执行者模式——使用静态应用程序安全测试 (SAST) 和动态应用程序安全测试 (DAST) 等静态分析工具扫描合并请求 (merge requests)，并标记潜在漏洞供工程师手动处理。超过风险阈值的案例会自动升级给指定的安全守护者，由他们审查和分类机器人的发现。他们的反馈用于完善规则并降低误报率，逐渐将机器人转向更高的自主权，同时保持“人在环路” (human-in-the-loop) 的监督。高级安全领导者定期审计规则和升级日志，履行治理者角色，以确保升级阈值符合风险政策和合规性需求。该系统说明了执行者 → 审核者 → 治理者角色如何共存并随着信任的建立而灵活调整。

这些阶段中的每一个都需要不同的界面模式和决策工具。执行者需要清晰的指令和紧密的反馈循环；审核者需要用于异常管理和审计可见性的仪表盘。协作者需要用于联合任务规划和上下文标注的界面。相比之下，治理者需要系统级的可观测性、政策配置、升级日志，以及验证与合规框架和人类价值观一致性的工具。

为人类与智能体的协作进行设计，意味着不仅要为今天的交互做规划，还要为用户——及其组织——明天将成长为何种角色做规划。

协调利益相关者并推动实际使用

即使是最强大的智能体系统，如果不能被其所提供支持的人员和团队所接受，也会失败。通常情况下，智能体被作为技术升级引入，但被视为新奇事物或干扰——导致采用率低、被动抵制或主动规避。为了避免这种情况，实施过程必须既是软件部署，也是人类变革管理工作。

成功的实施始于明确的利益相关者协调。不同的团队可能有截然不同的期望：工程师可能关注效率，法律团队关注合规性，最终用户关注易用性。如果这些期望没有尽早浮出水面并加以协调，智能体就有可能被构建给一个并不存在的想象中的“平均”用户。不一致会滋生幻灭感。

第一步是尽早在设计过程中让利益相关者参与进来——不仅作为测试者，而且作为共同创造者。这包括定义明确的目标：智能体应该改善哪些具体成果？它应该承担哪些决策，哪些应该由人类主导？成功——以及失败——会是什么样子？

至关重要的是，成功指标必须超越技术性能。一个完成任务很快但破坏信任或增加摩擦的智能体将不会被采用。利益相关者的认同取决于感知到的有用性、可靠性以及与现有工作流程和价值观的一致性。

实施智能体系统也是更广泛的组织学习的机会。当期望发生分歧时——在用户和开发人员之间，或者在智能体能做什么和利益相关者认为它应该做什么之间——这些时刻可以用来澄清优先级、完善需求并重新校准角色。如果处理得当且透明，摩擦就会成为迭代的发动机。

为得到持续的采纳，组织应开展培训、反馈循环和响应式支持。就像智能体在进化一样，它们的入门材料和集成指南也应该进化。团队需要空间来表达担忧、提出改进建议，并在智能体成长为其角色的过程中庆祝阶段性的成功。

例如，ZoomInfo 对 GitHub Copilot 的四阶段推广始于 50 名工程师的小型试点，只有在指标（33% 的建议接受率和 72% 的开发人员满意度）达到精心建立的阈值——并且定性反馈确认 Copilot 的建议确实有帮助后，才扩展到其 400 多人的完整团队。通过将每一次扩展与具体的信任信号联系起来，ZoomInfo 将 Copilot 从“有了也不错”转变为核心生产力工具。

归根结底，采纳不是一个开关——它是人类与其智能体队友之间共同进化的旅程。成功的系统是那些利益相关者不仅使用智能体——而且相信其价值并将其视为自己目标的延伸的系统。

弥合这一差距不是可选项。它是智能体系统悄然消失还是真正改变工作方式的区别所在。随着人类角色的定义和采用策略的到位，我们现在转向协作本身如何扩展——从个人助手到全团队和企业级智能体。

扩展协作

在本节中，我们将考察智能体如何从个人助手扩展到团队和企业协作者——以及每个阶段对人类和系统设计的要求。随着组织更广泛地采用智能体，它们的角色从孤立的助手演变为嵌入跨团队、部门和战略工作流程的协作参与者。了解智能体职责如何扩展——从个人工具到组织基础设施——对于设计有效的协作模型、访问控制和治理结构至关重要。

在最小范围内，智能体为个人服务：帮助管理日历、总结电子邮件或提供研究支持。这些智能体受益于私密的上下文，但权力有限且风险极小。它们的成功取决于理解单个用户的偏好和工作风格。随着时间的推移，个人通常会将更多责任委托给这些智能体，但监督仍然直截了当。

团队智能体代表了下一层复杂性。它们协助共享知识管理、项目跟踪或会议洞察整合。这些智能体必须驾驭共享记忆的边界，尊重人际动态，并在潜在的冲突期望之间进行调解。它们需要更复杂的上下文管理，并且必须显现那些可能需要集体决策而不是单边行动的不确定性。

我们在美国银行 (Bank of America) 的“Erica”助手中看到了这一点，它如今处理着超过 20 亿次客户请求和一半以上的内部 IT 服务台工单；通过展示其置信度（例如，“我有 85% 的把握这回答了您的问题”）并在不确定性超过定义阈值时提供向人工客服的清晰交接，Erica 从简单的常见问题解答 (FAQs) 扩展到了受信任的企业级服务。

当我们扩展到部门或职能级智能体时——例如支持财务、法律或客户成功的智能体——职责急剧扩大。这些智能体与敏感系统交互，接触多个利益相关者，并在规模上影响绩效。

在这个级别，基于角色的访问控制 (RBAC) 变得至关重要。智能体必须区分公共、内部和受限知识。当代表副总裁行动时，它们应该拥有与实习生助理不同的权限。清晰的授权框架和日志记录对于确保问责制至关重要。

在最高级别，企业级智能体可以协调跨部门的工作流程，综合跨职能数据，甚至就战略决策提供建议。这些智能体必须在强有力的治理边界内运作，受制于严格的政策、定期审计，并且对于关键行动通常需要人工签署。它们必须意识到跨团队的依赖关系、业务规则和办公室政治。

关键在于，这些智能体的设计不仅仅是技术挑战——它是社会技术挑战。智能体必须与组织文化、激励机制和工作流程保持一致。协作界面必须使人类易于审查、批准或修改智能体输出。升级路径必须随着责任的增加而扩展。随着智能体跨越更广泛的范围，错误的代价——以及对定义明确的信任边界的需求——也在增加。

通过识别智能体运作的不同范围并进行相应设计，组织可以安全有效地释放其全部潜力——从个人生产力到系统性转型。

智能体范围和组织角色

并非所有智能体都是平等的——或者更确切地说，并非所有智能体都是为了服务同一个实体而创建的。随着组织扩展其智能体系统的使用，它们自然会采用在不同抽象和权威级别上运作的智能体。理解并有意识地围绕这些范围进行设计对于安全、有效的部署至关重要。智能体部署通常分为五个范围，如 表 13-2 所示。随着智能体从个人助手扩展到组织系统，它们的访问范围、决策自主权和利益相关者影响也在增加。每个范围都需要针对权限、监督和上下文管理进行量身定制的设计选择。

表 13-2：各组织层级的智能体范围

范围	主要用户	访问范围	决策自主权	示例
个人	个人	电子邮件、日历、文档、代码	低至中等	行政助理，开发 Copilot
团队	小组或经理	共享硬盘、会议、目标	中等	冲刺规划助手，会议机器人
项目	跨职能小组	任务跟踪、交付物	中等至高	研发项目智能体，发布协调机器人
职能	部门	客户关系管理、人力资源信息服务、财务系统	高（在领域内）	HR 智能体，合规智能体，营销智能体
组织	领导层/IT/首席信息官	企业系统、分析	高或受限	公司级分析智能体，AI 服务台

每个范围对自主权、监督、数据访问和信任度都有不同的要求。例如，个人智能体可以在有限的范围内承担小风险，而组织智能体必须在严格的护栏、可解释性和审计下运作。

第一个也是最关键的含义是需要差异化的访问控制。随着智能体范围的扩大，它们必须遵守日益严格的基于角色的访问控制 (RBAC)，这些控制与其职责和它们接触的数据的敏感性相一致。

个人智能体可能会继承其协助的个人的权限，而职能或组织智能体需要明确的特权，以反映其在企业系统中的指定角色。设计这种访问架构需要 IT、数据治理团队和智能体开发人员之间的协调，以确保智能体永远不会超出其预期的范围。

这些不同的范围也要求差异化的政策。组织不应对自主权、升级或日志记录采用“一刀切”的方法。例如，个人智能体可能被允许自主发送电子邮件或安排会议，而财务部门的职能智能体可能被要求通过人在环路的批准来路由每一个行动。

组织智能体——那些拥有最广泛访问权限的智能体——可能需要多层授权或内部治理委员会来审查和批准行为及系统更新。随着智能体范围从个人扩展为组织，自主权水平和相关风险都会上升。如 表 13-3 所示，这种进程要求日益健全的治理——从轻量级的用户控制转向企业级的合规、审计和监督机制。

表 13-3：智能体范围与风险

范围	自主权水平	风险概况	治理需求
个人	低至中等	低	用户管理的偏好；最少的监督；可解释性可选
团队	中等	中等	共享记忆边界；同级升级；需要信任校准
项目	中等至高	中等至高	跨职能可见性；日志记录；冲突解决机制
职能	高（领域受限）	高	RBAC；审计日志；合规性对齐
组织	高或受限	极高（系统级）	多层签署；治理委员会审查；持续的道德审计和可追溯性

归根结底，定义智能体范围不仅仅是一个技术架构决策——它是一个治理决策。随着智能体对组织工作流程变得越来越重要，它们的范围不仅决定了它们能做什么，还决定了它们应该做什么，以及在谁的监视下进行。在下一节中，我们将转向一个密切相关的问题：如何在这些不同范围内管理记忆和上下文，以及当智能体开始不仅为个人——而且为团队、部门和整个组织——进行记忆时，所产生的信任、隐私和连续性影响。

共享记忆与上下文边界

随着智能体扩展到个人用途之外以支持团队和组织，它们如何管理记忆成为一个关键的设计问题。记忆使智能体拥有个性化体验，维护跨会话的上下文，并随着时间的推移进行改进——但在更大范围内，它也引入了围绕隐私、滥用和治理的严重风险。在没有明确策略时，智能体绝不应假设可以跨范围访问个人或敏感数据。设计尊重这些隐私边界——并使其可审计和可执行——的记忆系统是道德可扩展性的关键。

个人智能体通常存储简单的、用户特定的上下文：偏好、过去的查询、进行中的任务。但是，团队或部门智能体可能需要访问共享目标、对话或文档，而组织级智能体可能会建立跨业务模式的长期记忆。

这些更广泛的记忆很强大——但也更敏感。如果团队智能体回忆起在一对一私人聊天中分享的内容，或者部门智能体在业务部门之间出现机密数据，结果可能是严重的信任危机或合规问题。

为了避免这种情况，记忆必须被适当地界定范围。个人智能体应默认为隔离记忆，只有在明确允许时才共享数据。团队和部门智能体应在共享但有访问控制的记忆空间内运行。组织范围的智能体应在执行保留规则、日志记录和可审计性的政策治理系统内工作。在所有情况下，智能体应该能够解释它记得什么以及为什么——用户应该能够在需要时检查或删除该记忆。

设计者还必须考虑上下文流。记忆应该向上移动吗（例如，从个人智能体到项目智能体）？智能体可以相互查询上下文吗，还是必须保持孤立？清晰的边界对于防止无意的泄漏或范围蔓延至关重要。

同样重要的是让记忆行为透明化。用户应该知道他们的智能体记得什么，并能够控制它。这意味着在界面中明显展示记忆，给予人们关闭它的能力，并确保智能体永远不会基于陈旧或私人数据做出隐藏的假设。

归根结底，记忆不仅仅是一项技术功能——它是权力、信任和风险的来源。随着智能体在更广泛的层面上工作，我们必须将记忆视为一种需要明确治理的资产，而不是附加在有状态系统上的事后想法。管理好记忆的系统会让人感到连贯、乐于助人和尊重。做不到这一点的系统会让人感到侵入性、不透明和不安全。

可见，为从个人助手到企业级编排者的范围设计智能体，需要在每个级别量身定制自主权、访问控制和界面模式。但请记住：这不是一劳永逸的练习。大规模的有效协作是我们本章开头介绍的同一进化旅程的一部分——随着能力的提升，人类角色发生转变，信任加深，治理适应。你解锁的每一个新范围——从项目机器人到部门级顾问——都是沿着渐进式授权迈出的又一步。掌握了这些模式，我们准备好解决支撑每个级别安全、道德协作的信任、治理和合规的关键基础。

信任、治理与合规

在这里，我们探讨随着智能体自主权的增长，如何建立和维持信任、问责制和监督——确保协作保持安全和一致。随着智能体在我们的工作流程中承担更关键的角色，信任和问责制不仅变得可取——而且变得必不可少。仅靠技术性能是不够的。为了让智能体成为有效的合作伙伴，它们必须行为透明，尊重边界，并在定义明确的治理框架内运作。本节探讨可信系统的基础：信任是如何随着时间的推移建立和校准的，责任和问责制是如何执行的，以及监督和合规机制如何确保智能体安全、合乎道德和合法地执行。从渐进式授权和审计到升级设计和监管对齐，我们审视了从功能效用到可靠伙伴关系转变所需的条件。

信任的生命周期

信任不是一种二元状态——它是进化的。用户和员工不会仅仅因为智能体设计精良或技术能力强就立即信任它们。相反，信任是通过一致的表现、透明的行为和清晰的边界逐渐建立起来的。它会随着时间的推移而加深——或者当智能体越界、静默失败或行为不可预测时迅速受到侵蚀。

一个警示性的例子是 Klarna 在 2024 年的决定，即用 AI 聊天机器人取代大约 700 个客户服务职位：一旦同理心和细微的判断力消失，投诉量激增，迫使 Klarna 在 2025 年中期重新雇用人工客服，这强调了在没有强有力的人工后备的情况下过度自动化会迅速破坏信任。

透明度在信任校准中起着关键作用。智能体应主动披露其置信度水平、决策因素以及是否涉及不确定性。界面应该清楚地表明智能体为什么以某种方式行事——而不仅仅是它做了什么。在个人层面，随着用户看到他们的智能体记住偏好、遵循指令并优雅地从错误中恢复，信任就会增长。但在更大的范围——团队、职能或组织——信任变得更加复杂。现在智能体不仅代表一个人，而且代表共同利益。其执行可能会影响多个用户，产生系统级效应，或者被解释为反映公司政策。在这些背景下，信任必须更加审慎和更具分布性。

一个关键模式是渐进式授权。在智能体生命周期的早期，应该谨慎行事，遵从人类的审查或批准。随着它证明是可靠的——以及随着用户获得熟悉感——它的自主权可以扩展。例如，团队智能体可能从起草状态报告开始，最终被信任发送报告。财务智能体可能从只读访问开始，随后被允许在监督下提交交易。设计支持这种分阶段信任增长的系统对于安全、可扩展的采用至关重要。

为了支持这种增长，智能体应该让可信度变得可见。这意味着清晰的版本控制、变更日志和审计追踪。这意味着暴露不确定性，而不是隐藏它。这意味着给用户提供无摩擦地覆盖、干预或纠正智能体行为的方法。

组织还需要信任修复机制。当智能体犯错时——或者当期望发生转变时——应该有办法重置操作、重新训练或限制能力。没有恢复路径，即使是微小的失误也会导致信心受到持久损害。

归根结底，对智能体的信任反映了对人的信任：它必须被赢得、维护，并在破裂时重建。为信任的生命周期进行设计——而不是将其视为理所当然——是任何寻求将智能体整合到有意义的人类工作流程中的系统最重要的治理责任之一。然而，仅有信任是不够的。为了让智能体系统真正改变工作，它们必须被所服务的人所拥抱——而不仅仅是容忍。从可靠性到现实世界影响的飞跃发生在用户、团队和领导者的手中。但即使是强大的信任也必须锚定在问责体系中。信任可以指导日常互动，但治理必须回答：事情出错时会发生什么？

问责框架

问责制对于有操守的智能体设计至关重要，它确保智能体的行动、决策和成果有清晰的责任线。没有问责制，失败——无论是技术性的、道德性的还是操作性的——很容易得不到解决，从而侵蚀信任并使用户或利益相关者无从追索。建立问责制既需要结构性措施（如监督政策和升级路径），也需要技术性措施（如日志记录、可追溯性和道德审计）。

有效的问责框架确保失败被系统地检测、分析和处理，而不是作为复杂系统的意外副作用被驳回。这些框架还定义了当智能体系统造成伤害或做出错误决定时，谁最终负责——无论是开发人员、系统操作员还是部署组织。

为了使问责制具体化，团队可以采用或调整已建立的框架——而不是从头开始发明流程。以下是两个现成的模板和资源：

NIST AI 风险管理框架 (AI RMF)
- 由美国国家标准与技术研究院 (NIST) 发布的一种自愿的、基于风险的方法，涵盖四个核心功能：治理 (govern)、映射 (map)、度量 (measure) 和管理 (manage)。
- 从业者可以从 NIST 下载 AI RMF 配置文件和工作表，映射到其自己系统的风险水平，记录缓解策略，并跟踪随时间推移的进展。
共同设计的 AI 影响评估模板
- 根据 AI 从业者和合规专家的意见开发，此模板与欧盟 AI 法案 (EU AI Act)、NIST AI RMF 和 ISO 42001 保持一致。
- 它指导团队记录系统目的、利益相关者影响、偏见和公平性检查以及风险缓解计划——既可用于部署前，也可用于持续治理。

审计通过提供对智能体行为、系统输出和决策路径的结构化评估，在维持问责制方面发挥着关键作用。同样，强大的日志记录和可追溯性机制确保智能体采取的每一个行动都可以被跟踪、审查，并在必要时被撤销或纠正。

道德审计是旨在识别智能体行为引起的道德风险、意外后果和潜在伤害的结构化评估。这些审计超越了技术测试，专注于智能体系统的社会、文化和组织影响。公平性必须被视为头等的审计目标，而不是事后想法。审计应包括检查跨人口群体的不同影响、可能放大偏见的反馈循环，以及仅针对准确性或效率进行优化的意外后果。有效的道德审计通常包括：

输出评估：评估智能体的行动是否符合其预期目标和道德准则。
偏见和公平性检查：识别智能体输出中的偏见模式或不公平待遇。
决策路径分析：审查智能体如何得出其建议或决定。
利益相关者影响评估：考虑智能体的行为如何影响不同的用户群体或利益相关者。

行为评估通过观察智能体在现实场景中的表现（尤其是在边缘情况或模棱两可的输入下）来补充审计。这些评估可以识别意外行为，例如智能体做出道德上可疑的权衡或对某些提示做出不可预测的反应。

道德审计和行为评估不应是一次性活动——它们必须是持续的、迭代的过程。智能体通过更新、再训练和接触新数据而进化，其行为必须定期重新评估，以确保持续符合道德标准。

引入独立的第三方审计也可以增加额外的透明度和可信度。外部专家可以识别内部团队由于熟悉系统而可能忽视的盲点或风险。

有效的问责制依赖于全面的日志记录和可追溯性系统，这些系统详细捕获智能体的决策、行动和上下文推理。日志记录作为一种记录保存机制，确保每一个重要的交互或输出都被记录下来，并在以后需要时可以进行审查。实施良好的日志系统应包括：

决策日志：记录智能体为何做出特定决定的原因，包括输入、中间推理步骤和输出。
用户交互日志：用户输入和智能体响应的详细信息，带有清晰的时间戳。
错误和故障日志：关于智能体何时以及为何未能完成任务或产生意外输出的文档。

可追溯性使日志记录更进一步，让审计员或开发人员能够在特定场景中重建智能体的行为。这有助于回答如下问题：

为什么智能体推荐这个结果？
什么数据影响了这个决定？
是否有外部因素（例如 API 故障、冲突的指令）影响了结果？

在医疗保健、金融或刑事司法等高风险领域，可追溯性尤为关键，因为不正确的智能体行为后果可能很严重。

此外，日志必须得到负责任的保护和管理。未经授权访问包含敏感用户数据的日志会引入隐私风险。加密、访问控制和数据匿名化是防止滥用或泄露的基本保障措施。

日志系统的设计也必须考虑到清晰度和可用性。仅有日志存在是不够的——它们必须能被开发人员、审计员和利益相关者解读。清晰的文档和可视化工具可以帮助使可追溯性见解具有可操作性。

升级设计与监督

问责制并不止于日志和审计——它必须有清晰的升级机制和人工监督结构作为后盾，当智能体遇到不确定性、歧义或道德风险时启动这些机制。随着智能体以越来越高的自主权运作，组织必须回答一个关键问题：人类何时——以及如何——介入？

升级设计是政策和基础设施层，确保智能体不会越权行事，尤其是在高风险或模棱两可的情况下。设计良好的升级框架定义了人工干预的清晰阈值：特定的决策类型、风险水平或需要监督的置信度边界。例如，客户支持智能体可能自主处理常规查询，将账单纠纷升级给人工主管，并将潜在的滥用案例标记给信任与安全负责人。同样，采购智能体可能被允许自动批准 1,000 美元以下的采购，但超过该阈值则需要多方签署。

这些路径必须编码在技术系统和组织角色中。智能体应该能够识别何时需要升级——基于不确定性、冲突的约束或明确的政策——并相应地路由任务。同样重要的是，接收升级的人类需要上下文：智能体尝试了什么，为什么要升级，以及继续进行需要什么信息。

监督不仅仅是被动响应。在治理良好的系统中，指定的人员或委员会主动监控智能体行为，审查日志，并随着时间的推移完善升级政策。这些监督角色可能反映现有的结构——例如直属经理、合规主管——或者它们可能需要新的职位，如 AI 运营分析师或智能体治理官。监督不仅仅是关于“人在环路”的路径；它包括护栏——既有政策上的也有技术上的——即使在自主模式下也能约束智能体安全运行。

升级设计在信任调校中也起着关键作用。当用户知道智能体会在适当的时刻推迟处理——并且人类可以介入时——他们更有可能依赖系统而不过度信任它。相反，没有清晰升级逻辑的系统往往要么用虚假的自信挫败用户，要么因不确定性而瘫痪。

最后，有效的升级设计应该支持反馈循环。当人类解决升级的案例时，他们的决定可以用来改善未来的智能体行为——无论是通过更新政策、重新训练还是提示调整。升级不是失败的迹象；它是负责任的自主权的关键部分。

在下一节中，我们将考察智能体如何跨组织范围扩展——以及监督必须如何演变以匹配每个上下文的复杂性和风险。

隐私与监管合规

随着智能体系统成为各行各业关键工作流程不可或缺的一部分，它们正日益受到法律和监管的审查。政府和国际机构正在引入针对 AI 的法规，以确保这些系统的部署是安全、合乎道德和透明的。从数据隐私法到特定行业的合规要求，构建和部署智能体的组织必须驾驭复杂且不断发展的监管环境，以降低法律风险并维持公众信任。

合规不仅仅是为了避免惩罚。是将道德原则——如公平、透明、问责和隐私——嵌入到智能体设计和部署的结构中。如果实施得当，合规可以作为更有弹性、适应性更强和更值得信赖的系统的基础。虽然监管要求因地区和行业而异，但出现了共同的主题。一些最有影响力的框架包括：

欧盟 AI 法案 (The EU AI Act)：一个基于风险的框架，将 AI 系统分为不同的风险级别（例如，极小风险、高风险、不可接受的风险），并对应透明度、问责制和人工监督的义务。
GDPR（通用数据保护条例）：全球数据隐私的基石，要求组织最小化数据收集，确保用户同意，并提供清晰的数据删除和更正路径。
CCPA（加州消费者隐私法案）：向加州居民提供数据保护和透明度权利，强调用户同意和数据访问权。
HIPAA（健康保险流通与责任法案）：在医疗保健领域，处理患者数据的智能体必须遵守严格的隐私和安全要求。
特定行业标准：包括用于支付处理的 PCI DSS（支付卡行业数据安全标准）和用于财务报告完整性的 SOX（萨班斯-奥克斯利法案），每一个都对智能体行为和数据访问施加了额外的限制。

法规发展迅速，今天符合合规要求的明天可能就不够了。保持一致性需要对法律监控、架构灵活性和跨职能协作进行持续投资。为了使合规可持续，组织应将其直接集成到开发管道中，而不是将其视为最后的关卡。关键策略包括：

自动化合规关卡：作为每次构建的一部分，运行自动化测试以扫描不允许的内容（例如 PII 泄露），针对公平性基准验证提示测试，并执行数据处理政策。如果任何检查失败，则构建失败。
政策即代码 (Policy-as-code) 库：利用政策框架（例如 Open Policy Agent）来编写组织的数据使用和隐私规则的代码。将政策测试与单元或集成测试一起包含在内，以便在部署前捕获任何政策漂移。
模型卡和数据表：生成一个动态的“模型卡”作为构建工件——包括模型血缘、训练数据统计、已知限制和预期用例——并将其发布到内部模型注册表中。同样，为每个新的训练或微调数据集更新“数据表”，确保每个模型版本都附带一个合规就绪的文档包。

合规的许多技术基础直接与隐私和安全的最佳实践保持一致。包括：仅收集任务所需的数据，尽可能从数据集中剥离 PII，使用强加密协议保护静态和传输中的数据，并将数据访问限制为仅授权的用户和系统。

确保监管合规不仅仅是履行法律义务——它是关于将合规嵌入到智能体生命周期的每个阶段，从设计和训练到部署和长期监控。这种一致性需要组织内技术保障、操作政策和文化承诺的结合。

我们要记住，监管环境正在迅速变化，组织必须在不断演变的法规面前保持敏捷。这意味着跟踪这些变化，设计能够快速适应新合规要求的系统，并在整个智能体生命周期中与法律和合规专家合作。

安全性与隐私相辅相成，确保即使是智能体被允许访问的数据也能免受破坏、泄露或篡改——随着智能体连接到敏感的后台系统，这是一个特别紧迫的问题。

信任、问责制和监管对齐不仅仅是安全网——它们是人类与智能体之间伙伴关系的养料。我们在本章开头曾提出，协作必须设计为一个旅程，而不是一个切换开关，而刚刚探索的框架闭合了这个循环：它们提供了护栏和恢复路径，使你能够从容地从谨慎的试点迈向成熟的伙伴关系。随着这些治理机制的成熟，它们直接反馈到设计中，保持采用、学习和渐进式自主权的循环向前滚动，直到人类-智能体团队作为彼此无缝、值得信赖的延伸进行运作。我们现在展望人类-智能体团队的未来——探索如何维持创新、衡量影响，并引导智能体系统走向真正以人为本的成果。

结论：人类-智能体团队的未来

智能体系统代表了我们这个时代最具变革性的技术之一，重新定义了我们如何与软件交互、自动化任务以及解决各行各业的复杂问题。从客户支持聊天机器人和个人助理到自主工作流程和决策引擎，智能体不再是实验性的——它们正成为我们数字基础设施的重要组成部分。本书探讨了智能体系统的多面世界，深入研究了它们的设计、编排、安全性、用户体验和道德考量，为构建有效和负责任的智能体系统提供了综合指南。

我们首先奠定了智能体系统的基础，探讨了它们的前景、与传统软件的区别及其独特的优势和挑战。从那里，我们检查了智能体设计的核心原则，包括技能、规划、记忆和从经验中学习——所有这些都是使智能体能够自主、适应和有效运作的基本要素。

当我们从单智能体系统扩展到多智能体协调时，我们看到了智能体如何协作、谈判和分配任务，以实现单个智能体无法独自完成的目标。我们还解决了度量、验证和生产监控的关键问题，强调需要强大的评估框架和持续的监督确保可靠的性能。

本书探讨了智能体系统的安全性和弹性，认识到智能体可能成为恶意行为者有吸引力的目标，并且容易受到意外故障的影响。我们审查了保护基础模型、保护敏感数据以及缓解外部威胁和内部错误配置的策略——同时在创新与运营安全之间取得平衡。

最后，我们解决了构建和部署智能体系统所固有的道德责任。随着智能体对我们的生活和决策产生更大的影响，监督、透明度、问责制、公平性和隐私的原则变得不可妥协。道德设计不是一项功能——它是确保智能体系统负责任和公平地服务于社会的基本要求。

智能体系统不是“设置后即忘”的技术——必须根据不断变化的人类需求对其进行持续评估、改进和调整。智能体必须随着它们旨在解决的挑战而演变，适应新数据、新兴威胁和不断变化的社会期望。成功的组织将是那些优先考虑敏捷性、透明度和对道德原则的深刻承诺的组织。

与此同时，协作将是必不可少的。工程师、设计师、伦理学家、决策者和最终用户必须共同努力，确保智能体系统不仅强大，而且与人类价值观保持一致。智能体系统的成功不仅仅通过其技术复杂性来衡量——它是通过其对个人、组织和整个社会的影响来衡量的。

继续向前——无论是作为开发人员、团队负责人、高管还是决策者——都是塑造智能体系统未来的一部分。本书讲述的工具、框架和原则是起点，而不是最终答案，随着我们继续推动该领域向前发展，我们都在学习。构建智能体系统既是一项组织和文化挑战，也是一项技术挑战。无论你是刚起步还是已经在大规模部署智能体系统，前进的道路都是迭代和协作的。最有效的团队不会直接跳到全自动化——他们逐渐建立信任，严格评估结果，并从一开始就嵌入治理。以下是指导下一步行动的四个实用原则：

实验 (Experiment)：在低风险领域试点智能体。
度量 (Measure)：在开始之前定义成功指标。
治理 (Govern)：尽早建立监督和日志记录。
扩展 (Scale)：在信任和自主权阈值上进行迭代。

智能体系统的兴起提供了一个非凡的机会——一个放大人类潜力、推动有意义的进步并以前所未有的规模应对挑战的机会。但这个未来并非不可避免——它必须进行有意识地构建、深思熟虑地治理和合乎道德地引导。我们今天做出的选择塑造了我们留给明天的数字未来。构建智能体不仅仅是一项职业义务——它是一个积极影响子孙后代的机会。

让我们创造不仅聪明而且智慧，不仅高效而且公正，不仅赋予力量而且致力于人类繁荣的智能体系统。

翻译整理自Building Applications with AI Agents一书，仅供学习交流使用