WEIJIA LAB

人机协作 · 方法随笔

人和 AI 一起做,会比各自做得更好吗?

先把分工写清,再用三个基线检查:协作究竟增加了什么,又把错误藏到了哪里。

2026.11.07 · 约 7 分钟 · AI 辅助整理与翻译

把任务交给 AI,再由人检查,听起来是一种稳妥的分工。但检查也需要时间、知识和注意力。如果人看不出关键错误,最后一次点击并不会自动给答案增加可靠性。要讨论协作的价值,得把“有人参与”往前再问一步:人究竟改变了什么?

分工有没有用,要有可比较的对象
依据本文内容绘制的概念图;用于帮助理解,不代表实验已经完成或结论已被证实。

先问:比谁更好?

一个人借助 AI 后,比自己原来做得好,说明工具帮助了这个人。若要进一步说两者形成了互补,还需要比较 AI 单独完成时的结果。这两个判断使用的参照物不同。

2024 年发表的一项系统综述与元分析纳入了 106 项实验、370 个效应量。在其覆盖的任务中,人机组合平均优于人单独,但平均没有超过人或 AI 中较强的一方。任务类型会改变结果。[1] 研究覆盖的是 2020 年至 2023 年上半年发表的实验,不能拿来给今天所有模型下结论。

这条证据支持一个朴素要求:声称协作有优势时,把比较对象摆在桌上。即使组合没有超过最佳单方,它仍可能改善可控性或满足必须由人承担的责任;这些是需要单独说明的价值。

同一资料包 · 同一交付要求

人单独人独立完成
AI 单独固定模型与工具
协作预先写明分工

盲评质量 + 分别记录时间与成本

比较设计示意,不是实验结果。三条路径需要公平分配任务;不能让同一人依次重做同一道题。

把“你做完,我检查”拆开

下面是一种待检验的工作方法,不是已证实的最佳流程。每次交接只写四件事:要交付什么、依据在哪里、谁核验关键判断、发现问题怎样退回。

以一份虚构的产品比较为例。人先确定使用场景和不能牺牲的条件;AI 从同一份公开资料包提取规格,逐项附上出处;核验者抽查规格与结论的关系;最终决策者确认取舍。缺失信息仍写缺失,不靠更流畅的句子补齐。

分工应随可核验程度变化。单位换算适合用确定性计算校验;审美判断需要实际作品和明确偏好;代价高且缺少可靠反馈的决定,不能因为有人看过一遍就降低要求。“人负责价值、AI 负责事实”也过于整齐,因为人会记错,AI 会把取舍藏进摘要。

人机交互设计研究提出,应让能力与局限可见,支持方便的纠正、拒绝与不确定时的收缩服务。[2] 这里借用的是设计原则,并没有证明上述具体分工已经有效。

复核需要新的依据

让同一个模型把自己的答案再读一次,可能找到遗漏,也可能重复原来的假设。第二次回答更肯定,不足以说明第一次判断更可信。

有价值的复核要增加可比较的东西:回到原始文件、重新计算、运行测试,或请能独立判断的人先作答,再看原答案。是否有效,应看它修正了多少错误、又引入了多少新错误,而不是复核了几轮。

反复要求模型赞成或反对,同样不构成独立证据。若两次回答共享同一处错误来源,就不能把一致意见算作两份支持。这是本文的方法判断,不是对某个产品的实测结论。

给分工安排一次三组比较

选择一类可以用公开材料核验的小任务,例如从产品说明中整理带来源的规格表。提前写下题目纳入规则、正确性标准、严重错误和最小有用改进。三条路径分别是:人单独、AI 单独、按既定分工协作。

三组使用同一资料包与交付要求,明确可用工具和时间预算。相同题目不能让同一个人依次做三遍,否则后做的组会继承前面的学习。正式比较可以让不同参与者随机进入不同条件,在同一题集上作答;若只有一个人,就用随机分配的匹配任务做探索,并承认题目差异仍会影响结果。

评审尽量不知道答案来自哪一组,按预先规则检查事实、遗漏、来源支持和严重错误。再分别记录总耗时、人的工作时间、模型费用与返工。若质量相近却省时,可以支持效率改善;若关键错误更多,不能用总分或速度把它掩盖。

在共同评分尺度下,协作比人单独更好,可称为对人的帮助;超过两种单独条件中更强的一方,才支持该任务上的协同增益。保留每道题的结果与不确定性。少量练习没有差异,只能说尚未观察到优势,不能证明两种流程等效。

把下一步缩到一个环节

本篇没有运行三组实验,也没有公布模型成绩。它提供的是一个可下载、可修改的协议草稿。若要开始,先选一种任务、一处交接和一个主要指标,不必先搭建一套复杂的多智能体系统。

一份好的协作记录,应该让下一位读者看懂:谁补上了什么、错误怎样被发现,以及这次分工在哪些条件下仍然没有帮助。做到这里,“人和 AI 一起做”才开始成为一个可以检验的主张。

下载实验设计模板 JSON ↓

模板是研究准备材料,没有成绩、录音或参与者数据。

原始研究

  1. Vaccaro, Almaatouq & Malone (2024). When combinations of humans and AI are useful: A systematic review and meta-analysis.
  2. Amershi et al. (2019). Guidelines for Human-AI Interaction. CHI 2019.

文献核查:2026.11.07。正文区分论文发现、方法判断与待实施设计。

鲜唯佳 · 个人实验室蜀ICP备2026073130号-1

独立静态版:博客、故事及指定站内互动可直接访问。登录、评论与联网联奏未迁入;标示站外的作品仍在原部署。