Skip to content

Human-in-the-Loop Patterns

原文: https://claude.com/blog/human-in-the-loop-agentic-ai

⚠️ 注意:原链接 https://claude.com/blog/human-in-the-loop-agentic-ai 已失效(404)。以下内容基于网络搜索到的相关信息整理。

概述

Human-in-the-Loop(人在回路,HITL)是一种将人类判断融入 AI 系统流程的设计模式,构成流程的运行闭环。在 Agentic AI 系统中,HITL 扮演关键角色,用于在关键决策点确保系统行为符合预期。

核心概念

什么是 Human-in-the-Loop

人在回路(Human-in-the-Loop,HITL)是人工智能的一个分支,利用人类和机器智能来创建机器学习模型或在 AI 系统运行中引入人工参与。其核心理念是:

  • 在关键决策点或遇到不确定性时,Agent 会请求人类用户的反馈或指导
  • 人类的干预有助于确保 Agent 的行为符合预期
  • 解决潜在的错误或偏差

为什么需要 HITL

AI Agent 系统从"工具"向"可靠队友"转型的核心挑战在于平衡:

  • 能力 vs 信任
  • 自治 vs 问责

2026 年的关键洞见:协作成功率不再仅仅取决于单一模型的能力,而更多地取决于渐进式委托 + 多智能体编排的设计。

HITL 的应用场景

1. 关键决策点

在涉及高风险或不可逆决策的场景:

  • 金融交易审批
  • 内容删除/封禁
  • 自动化测试通过/失败判定

2. 不确定性处理

当 Agent 置信度低于阈值时:

  • 主动请求人工确认
  • 提供多个选项让人类选择
  • 展示推理过程供人类审查

3. 质量控制

在 Agent 输出到达用户前进行人工审核:

  • 客服回复审核
  • 自动化报告审查
  • 生成内容的后编辑

4. 持续学习

利用人类反馈改进 Agent 行为:

  • 标注错误案例
  • 纠正 Agent 误解
  • 补充 Agent 缺失的领域知识

HITL 实现模式

模式一:中断等待确认(Interrupt & Wait)

Agent 在关键步骤暂停,等待人类确认后再继续。

Agent → 检测到关键点 → 中断,等待人类 → 人类确认 → 继续执行

适用于:高风险操作、首次执行新类型任务

模式二:批准后执行(Approval Required)

Agent 生成建议,人类审批后执行。

Agent 生成建议 → 展示给人类 → 人类批准/修改 → Agent 执行

适用于:需要人类最终决策的场景

模式三:平行审核(Parallel Review)

Agent 执行同时,人类异步审核。

Agent 执行 → 结果同时发给人类审核 → 发现问题则回滚/修正

适用于:实时性要求高但也需要质量控制的场景

模式四:渐进式委托(Progressive Delegation)

根据 Agent 表现逐步增加其自主权。

新场景 → 全部人工确认 → 部分自主 → 完全自主

通过学习人类反馈,Agent 逐步获得更多自主权。

HITL 在 Agentic AI 中的角色

与 Agent Loop 的集成

OpenAI Agents SDK 和类似框架提供了内置的 HITL 机制:

  1. 定义中断点: 在工作流中标记需要人工参与的位置
  2. 状态保存: Agent 在中断时保存完整状态
  3. 恢复机制: 人工决策后 Agent 从断点恢复

关键设计考虑

考虑说明
何时中断高风险操作、置信度低、首次执行新任务
中断形式同步等待、异步通知、仅记录
恢复策略完全重启、从断点恢复、降级处理
用户体验中断不应过于频繁,否则影响效率

HITL 的权衡

优势

  • 提高系统可靠性和安全性
  • 减少错误决策的负面影响
  • 建立人类对 AI 系统的信任
  • 能够处理新颖/未见过的场景

劣势

  • 增加延迟,降低自动化效率
  • 需要人类持续参与,消耗人力
  • 可能成为扩展瓶颈
  • 需要设计良好的用户界面

最佳实践

  1. 仅在必要时中断: 过度中断会降低效率并让用户厌烦
  2. 提供足够的上下文: 人工决策需要充分的信息
  3. 清晰的确认界面: 让人类能快速做出决定
  4. 记录和反馈: 所有人工干预都应被记录用于改进
  5. 渐进式信任: 从严格控制开始,随系统成熟逐步放开

相关资源

为前端工程师打造 · 基于 VitePress 构建