模型输出责任

Agent 自主决策产生的输出由谁负责——三方责任分配、HITL 的法律意义、合同条款示例。

本文不构成法律意见。所有合同结构与责任分配应由合格律师审核。下述内容仅作为产品决策与合同谈判的入门理解。

问题的本质

传统 SaaS 工具不替用户做决策——Notion 不会自动写错合同条款，Excel 不会自动算错数字。用户用工具做错了事，责任在用户。

Agent 产品换了这个结构。Agent 可以：

  • 自主决定调用哪个工具
  • 自主决定输入什么数据
  • 自主决定何时完成 vs 重试
  • 自主与外部系统交互（发邮件、写文件、调用 API）

每一步都可能产生不可逆的外部影响。如果 agent 帮用户发了错误邮件给客户、写错了合同条款、操作了错误的数据库记录——这个责任在谁？

这个问题没有简单答案。法律先例少，监管框架未成熟。但产品方必须在合同里明确条款，否则争议出现时被动。

三方责任结构

涉及四方：

  1. 最终用户——提出任务请求的个人
  2. 客户企业——付费方，部署 agent 的组织
  3. 产品方——agent 产品的供应商（即你）
  4. 上游模型方——Anthropic / OpenAI / 自有部署模型来源

理想情况下责任按以下原则分配：

错误来源主要责任方
用户提了错误的需求用户 / 客户企业
用户提了正确需求，agent 误解了产品方
用户提了正确需求，agent 理解对了但输出错了产品方（背后可追溯到模型方）
产品方提供的工具本身设计缺陷产品方
上游模型方系统性偏差 / 错误产品方（向上游追责，但首位责任）
用户绕过 HITL 直接放行用户 / 客户企业

关键原则：产品方在面向客户的合同里承担首位责任，但内部应保留向上游模型方追责的权利。

HITL 的法律意义

HITL（Human-in-the-Loop）不仅是质量控制机制，更是责任转移机制。

设想两种合同条款：

A. 全自主 agent：

“agent 自主完成所有任务步骤；产品方对 agent 决策与输出承担首位责任。”

B. HITL 模式：

“高风险动作（发送对外邮件、付款执行、数据修改等）需要用户人工确认。用户确认后产生的影响由用户承担责任。”

B 条款的法律意义：

  • 把”不可逆动作”的最终决定权交给人；技术上 agent 仍可执行，但法律上由人按下”确认”
  • 即使 agent 推荐错了，人按了确认，责任归人
  • 法律上类似”自动驾驶 L2”vs”L4”——L2 司机仍负责，L4 厂商负责

产品方的实际选择：除明确需求与法律团队认可外，默认采用 HITL 模式。全自主 agent 对产品方风险敞口巨大，且当前法律框架未提供充分保护。

合同条款示例

面向企业客户的服务协议中，应包含以下条款（示例文字，需律师审核）：

14. Agent 自主行为与责任

14.1 客户承认 agent 产品的输出由概率模型生成，可能存在错误、不准确、
    或不适合特定场景的内容。客户负责审查 agent 输出并独立验证其
    适用性。

14.2 对于通过 HITL 流程要求用户确认的动作，用户在确认后产生的所有
    影响由客户承担责任。产品方不对用户确认后的动作结果承担责任。

14.3 对于未经 HITL 确认而由 agent 自主执行的动作，产品方承担合理
    范围内的责任。该范围以合同其他条款（责任上限、不可抗力等）为准。

14.4 客户应配置 agent 不得自主执行的动作清单（"high-risk 动作清单"），
    例如：对外邮件发送、付款操作、合同签署、数据库结构修改等。
    清单内动作必须经 HITL 确认；清单外动作 agent 可自主执行。

14.5 产品方对上游模型供应商（Anthropic、OpenAI 等）系统性故障或
    输出偏差的责任以本服务协议为限。客户理解上游模型方的服务条款
    适用于其与产品方间的关系，产品方将合理转移可获得的保障。

保险产品的现状

E&O（Errors & Omissions）保险传统上覆盖软件错误造成的客户损失。Agent 产品的保险情况：

  • 大多数 E&O 保险默认不明确覆盖 AI 自主决策——保单语言通常预设软件是”被动工具”
  • 部分保险公司（AXA、Munich Re 等）开始提供 AI-specific 附加险，覆盖”agent 自主决策导致的损失”
  • 保费明显高于传统 E&O——agent 风险敞口未充分历史化，承保方风险定价保守
  • HITL 条款健全的产品方在投保时通常能获得更低保费

实操建议：

  • 早期阶段（< $5M ARR）：传统 E&O + 明确披露 AI 使用，与保险方沟通保单条款
  • 中期（$5M-50M ARR）：考虑 AI-specific 附加险
  • 大型企业合同前：让客户自带保险条款进合同（许多企业客户要求供应方持有特定保额的 E&O）

监管走向

截至本文写作时，agent 产品监管的关键动向：

  • 欧盟 AI Act（2024 生效，2025-2026 分阶段实施）——按风险分级；高风险用途（医疗、招聘、信用评估）有专门义务；agent 自主性高的系统倾向于”高风险”分类
  • 美国白宫 AI 行政命令（2023-）——目前主要约束基础模型方而非应用方，但有外溢风险
  • 中国《生成式 AI 服务管理暂行办法》（2023）——内容审核责任明确归服务提供方
  • 行业自律——金融、医疗、法律等行业的专业协会正在制定 AI 自主决策的实操指南

合规策略：不要赌”监管会一直滞后”——产品架构上预留 HITL 边界与审计轨迹，监管落地时不必重做产品。

与其他章节的衔接

这页有帮助吗？
在 GitHub 编辑