- 区分 AI 代理（Agent）与普通聊天机器人的核心标准
- 理解‘代理缰绳’如何控制 AI 的行为循环与权限
- 掌握‘上下文架构’的设计原则与信息组织方法
- 学会对非确定性的 AI 输出进行科学、量化的评估
背景：从聊天机器人到‘做事’的代理
如果你让一个 AI 工具登录 Algolia 仪表盘，下载过去一个月最热门的搜索数据，并导出零结果搜索，可能会得到两种截然不同的回应。一种 AI 会清晰地告诉你操作步骤，然后停下。另一种则会尝试自己操作：导航到仪表盘、点击分析视图、尝试更改日期范围、失败后调整方法重试。
后者才是真正的 AI 代理（AI Agent）。 根据 NN/G 的定义，AI 代理是一个能够通过迭代执行动作、评估进展并自主决定后续步骤来追求目标的系统。它与只能生成文本的 LLM（大语言模型）有本质区别。
如今，‘代理’一词被广泛滥用，从手机应用到银行软件都在宣称拥有 AI 代理。但如果没有清晰的定义，设计师和产品团队就难以评估自己构建的究竟是什么，用户也无法建立合理的信任。理解代理及其背后的运行机制，已成为设计下一代 AI 体验的关键前提。
核心内容一：驱动代理的‘缰绳’
想象两个基于同一 AI 模型的日程安排助手：一个只能润色会议议程，另一个却能检查受邀者日历、寻找空闲时间并发送会议邀请。能力差异的关键，在于包裹在 AI 模型外围的软件——代理缰绳（Agent Harness）。
代理缰绳是围绕 AI 模型、负责运行其执行循环（Execution Loop）的软件。 它执行模型使用工具的请求，返回结果，并控制模型接收什么信息、被允许做什么。正是这个循环将 AI 模型从简单的聊天机器人，转变为能够持续处理任务的代理。
缰绳的核心功能
缰绳主要通过两方面来支撑模型的工作：连接工具与执行权限，以及提供指令与执行限制。
它负责为每个任务组装 AI 模型所需的上下文，包括用户请求、开发者指令、历史消息、保存的偏好（如“周五不安排会议”）以及来自日历或文档的信息。如果偏好从未作为工作上下文传递给模型，助手就可能建议用户希望避免的时间。
缰绳还能改变信息呈现给模型的方式。例如，将用户旅程图 PDF 上传给 AI 工具获取反馈时，一个产品的缰绳可能只提取文本，另一个则可能将页面转为图像。仅接收文本的模型可能会错过布局传达的关系。
- 连接工具与权限：控制模型可以使用哪些连接工具，以及何时需要用户批准。例如，日历连接可能允许读取空闲时间，但创建事件需要额外授权。
- 提供指令与限制：提供指导模型工作的指令，并对时间、成本、模型在返回用户前可采取的步骤数设定硬性限制。
核心内容二：从上下文工程到上下文架构
AI 产品的塑造方式正在快速演变。早期依赖提示词工程（Prompt Engineering），后来发展为上下文工程（Context Engineering）。现在，随着代理系统的兴起，我们进入了新的阶段：上下文架构（Context Architecture）。
传统数字产品是确定性的，我们可以一步步设计流程并硬编码。但 AI 产品不同，LLM 是概率性的，相同输入可能导致不同输出。对于许多团队而言，训练数据并非可直接控制，他们依赖第三方的基础模型。因此，上下文成为了塑造系统行为的主要方式之一。
上下文不仅仅是系统提示词的列表，它是 AI 系统上下文窗口内一切信息的生态系统，需要被动态发现和选择。
- 系统指令与护栏（System Instructions & Guardrails）：设计者和工程师给出的、关于系统该做什么不该做什么的指示，对最终用户不可见。
- 从知识库检索的信息（Retrieved Information）：通过 RAG 等技术从数据库检索的相关信息，用于生成有依据的回应。
- 技能（Skills）：可重用的指令、脚本和资源包，代理仅在需要时加载。
- 工具（Tools）：AI 系统可以调用的外部能力，如网络搜索、日历、API。
- 长期记忆与短期记忆：跨对话保留的信息或当前会话的交互历史。
核心内容三：如何科学评估非确定性的 AI
如果你多次询问同一个 AI 客服系统：“开封后的产品超过 30 天还能退货吗？”一个答案可能准确解释政策，另一个可能遗漏重要例外，第三个可能自信地承诺客户无权获得的退款。哪个答案代表系统？答案是：它们合在一起代表，但单独一个不能。
AI 系统是非确定性的（Nondeterministic），相同的输入可能产生不同的输出。 因此，单次运行、检查结果就下结论的方法是无效的。一个良好的输出只能证明系统“能够”执行任务，无法显示其“多频繁”或“多可靠”地执行。
像定量用户体验研究一样评估 AI
评估 AI 应遵循与定量 UX 研究相似的逻辑：定义一组有代表性的测试输入，收集足够多的观察结果（即多次运行），然后报告平均性能及其变异性。
- 测试输入变异性（Test-Input Variability）：由于输入问题本身的不同（如简单 vs. 复杂）导致的输出质量差异。
- 运行间变异性（Run-to-Run Variability）：对完全相同的输入进行多次提交，由于模型的概率性本质而产生的输出差异。
| 定量 UX 研究 | AI 评估 |
|---|---|
| 参与者、任务 | 模型、提示、设置、工具、数据 |
| 一个数据点（观察） | 一个 AI 输出 |
| 一个参与者尝试一个任务 | 一个 AI 输出对应一个测试输入 |
| 任务成功率、任务时间 | 准确率、任务成功率、质量分数 |
| 跨任务和参与者的差异 | 跨测试输入和重复运行的差异 |
案例分析：用真实设计场景测试 AI 原型工具
NN/G 团队为了模拟真实的设计环境，基于其正在进行的实际工作流程，定义了两个设计场景来评估各类 AI 原型工具。
第一个场景是单页设计：在线培训个人资料页。任务是设计一个桌面端页面，让学员可以查看已修课程、访问资料、检查考试状态并追踪 UX 认证进度。团队为此创建了四种详细程度不同的提示词，从仅有基本描述到包含完整组件清单、设计语言（色彩、形状、字体）甚至附上手绘线框图、设计稿等。
第二个场景是流程设计：批量购买。任务是设计一个企业批量购买课程学分并获得折扣的购买流程。
评估过程分为三个阶段：撰写提示词、用 AI 生成设计、评估 AI 生成的设计。团队使用了启发式评估法，并始终将 AI 输出与 NN/G 设计师未使用 AI 创作的真实设计进行对比。
- 测试工具类别：包括生成静态线框/设计稿的工具（如 UX Pilot, Figma First Draft）和生成交互式代码原型的工具（如 V0, Bolt）。
- 提示词策略：为确保结果可比，提示词包含了所有必要的上下文。为在同一工具内比较设计变体，会在同一对话中添加后续提示：“创建一个布局明显不同的替代设计。保持相同上下文。不要修改或更改内容。”
**提示词示例（详细版）：**
You are a senior product designer at Nielsen Norman Group... Your task is to design a profile page...
## Page Components
### 1. Certification Progress Panel:
Show progress towards the following certifications:
- UX Certification: Requires completion of 5 courses...
### 2. Course History Section:
Display a list of all past live online courses taken by the user...
## Design Language
### Visual Style
- Mature
- Balanced
- Trustworthy
### Colors
- Primary button color: #002AF6
- Secondary colors:
- Interaction specialty: #FFD914...不同观点与适用边界
在定义 AI 代理时，有些观点会额外强调感知环境、适应计划、维持记忆等能力。NN/G 的定义将这些视为隐含属性，而非独立要求。
‘评估进展’包含了感知。 一个读取自身错误日志的编程代理就是在感知环境。‘决定自身后续步骤’隐含了适应（当先前步骤失败时改变计划）。‘迭代地’工作则隐含了跨步骤的记忆。将这些属性保持隐含，是为了让定义保持精简，足以作为共享词汇使用。
此外，虽然目前大多数 AI 代理基于 LLM 构建，但定义本身并不要求必须使用 LLM。例如，Waymo 自动驾驶汽车符合代理定义：它追求目标（到达目的地）、采取行动（转向、加速）、评估进展（处理传感器数据）、决定后续步骤，但其核心是计算机视觉和规划系统，而非 LLM。重要的是行为模式，而非底层技术。
对设计师的实际建议
面对日益复杂的 AI 产品设计，设计师需要更新自己的工具箱和工作方法。
- 设计时，在界面旁定义行为： 不仅要设计屏幕，还要指定系统如何执行界面中可用的操作。与工程师早期合作，决定哪些操作需要批准，以及系统如何在确认对话框背后执行该批准。
- 评估时，测试完整任务： 运行 AI 评估时，使用真实的上下文、工具和权限来测试你的 AI 体验所支持的完整任务。记录每个结果，以及用户检查和纠正结果所花费的精力。当出现故障时，与工程团队一起确定是界面、缰绳还是核心 AI 模型出了问题。
- 利用上下文架构思维： 像信息架构师一样思考。关注如何组织知识、如何标记工具、检索如何工作、记忆如何组织、概念之间如何关联。好的写作提高可读性，而上下文架构塑造系统如何解释信息、做出决策和表现行为。
- 采用科学的评估方法： 放弃“运行一次看结果”的习惯。为评估定义一组有代表性的输入，对每个输入进行多次运行，计算平均性能指标（如可接受答案的百分比），并报告置信区间和变异性。
总结
AI 产品设计正在经历一场深刻的范式转移。从依赖精巧提示词的“对话”，转向设计能够自主“做事”的代理系统。这一转变将设计师的角色从界面塑造者，扩展为系统行为与信息环境的架构师。
理解代理缰绳，让我们能够追问：AI 模型接收了什么信息？可以运行哪些动作？系统应该在何时停止或让用户介入？ 掌握上下文架构，则让我们能够系统地组织信息，减少噪音，引导模型做出更准确、更一致的决策。而采用科学的评估方法，则是我们在非确定性的 AI 世界中，建立可靠性与用户信任的基石。
面对 AI 的浪潮，设计师需要拥抱这些新的概念和工具，与工程师、产品经理更紧密地协作，共同构建不仅智能，而且真正有用、可信赖的用户体验。
要点速览
- AI 代理的核心是自我导向与行动能力，能迭代工作、评估进展并自主决定下一步。
- 代理缰绳是控制 AI 行为循环的关键软件层，负责连接工具、管理权限、提供指令和设定限制。
- 上下文架构是信息架构在 AI 时代的新形态，旨在为模型构建清晰、高效的信息环境。
- 评估 AI 必须采用定量方法，测试多个代表性输入并进行多次运行，以衡量其平均性能与一致性。
- 设计师需超越界面设计，与工程师协作定义系统行为，并利用上下文架构思维组织信息。
- 模糊的提示词导致输出不稳定，提供具体的组件清单和设计规范能显著提升 AI 设计工具的输出质量。
