HUMAN FACTORS · AUTOMATION & ALGORITHM

自动化伦理与算法决策责任

Who Is Responsible When the System Acts?

自动化把日常负荷压下去,却把监控负荷、技能退化与责任模糊推上来。 当算法从「告警」走到「建议」,再走到「接管」,甚至走进训练评分与胜任力预测,责任并没有消失,只是被重新分配。 本篇要回答的核心问题是:在什么层级,谁必须负责;以及一个组织怎样才能既用算法,又不把判断权交出去。

5自动化层级
3责任临界点
4算法责任层
2检查单
01

一、自动化的层级:责任如何随层级移动

自动化不是一个开关,而是一条从「告诉你」到「替你做」的连续谱。责任在这条谱上不是消失,而是被切分。

1.1 先分清两个维度:功能类型与自动化等级

Parasuraman、Sheridan 与 Wickens(2000)提出,讨论自动化必须同时看两个维度: 它替人做的是哪一类功能,以及它替人做到什么程度。

四类功能分别是:

功能类型 自动化在做什么 驾驶舱对应
信息获取 选择、过滤、组织信息 自动排序的告警、电子检查单、趋势显示、数据链
信息分析 对信息做推断、给出结论 预测到达油量、计算性能、识别不稳定进近趋势
决策与行动选择 在多个选项中选出方案 建议复飞、建议改航、建议备降
行动执行 把动作做出来 自动油门、自动驾驶、自动着陆、自动刹车

这个区分之所以重要,是因为责任的性质随功能类型变化:信息获取类自动化的错误表现为「你没看到」;决策类自动化的错误表现为「你选错了」;执行类自动化的错误表现为「它做错了,而你没有接管」。

1.2 从告警到接管:五个层级的责任分布

Sheridan 与 Verplank(1978)提出的十级自动化模型,常被简化为五个可操作层级。下表是运行层面的简化版:

层级 系统做什么 人做什么 责任落点
L1 告警 检测异常并提示 判断告警是否可信、决定是否行动 人承担全部判断责任;系统的责任是「不漏报、不误报」
L2 建议 给出一个或多个建议方案 评估建议、选择或拒绝 人承担选择责任;但如果人未评估就采纳,责任出现「事实上的转移」
L3 辅助 完成部分动作,需要人确认 确认、监控、必要时修正 人与系统共同承担;确认环节是否真实有效成为关键
L4 执行 完整执行一段任务,人监督 监督、识别偏差、接管 人保留最终责任,但实际控制权已部分让渡
L5 接管 在异常时主动交出控制或请求接管 在有限时间内理解状态并接手 责任重新回到人,但前提是人「接得住」
关键洞察:层级越高,人的日常参与越少,但接管要求越高。这不是责任的减少,而是责任的「低频化」——平时不需要你,需要你时必须立刻会。

1.3 责任的三个临界点

在自动化谱系上,责任发生实质性移动的时刻只有三个:

  1. 建议被采纳的那一刻。系统只提供选项,采纳动作由人完成。若人未做独立评估,采纳就变成了「盖章」,责任在事实上被转移,但在形式上仍留在人身上——这是最危险的状态。
  2. 动作被执行的那一刻。执行类自动化一旦启动,人的角色从「操作者」变成「监督者」。监督是否有效,取决于注意力、理解与接管准备。
  3. 异常被接管的那一刻。接管是责任回归的瞬间,也是能力被检验的瞬间。接不住,责任仍在人,但已无法履行。

1.4 责任是重新分配,不是消失

自动化常被描述为「把责任从人转移到系统」,这种说法不准确。系统不是法律主体,不能承担责任。 真实发生的是责任在多个角色之间的重新分配:设计者、制造商、运营人、教员、机组、监管者,各承担一部分。

Matthias(2004)把这种现象称为「责任缺口(responsibility gap)」:当系统行为由学习算法生成、且具体行为难以预测时,传统「谁行动谁负责」的归责链条会出现断裂。 航空自动化的多数场景还没到这一步,但算法进入训练评估后,这个问题会变得具体。

1.5 自动化层级的划分依据

自动化层级常被误解为「系统的聪明程度排名」:L5 比 L4 高级,L4 比 L3 先进。这种理解是错的。 层级划分的依据不是智能高低,而是决定权与执行权在人和系统之间如何分布。同一个系统在不同阶段可以处于不同层级,同一个功能在不同机型上也可能落在不同层级。

划分依据 要判断的问题 为什么影响责任
决定权位置 方案由谁选出 选出方案的人承担选择后果
执行权位置 动作由谁做出 执行者承担动作后果,监督者承担监督后果
人在回路的位置 人是在回路内、回路上,还是回路外 回路外的人需要更长的情境恢复时间
时间尺度 从异常出现到必须干预,有多少秒 时间越短,人的接管责任越难履行
失效可见性 系统出错时,人能不能看出来 不可见的失效会把责任变成事后追认
接管可行性 人能否在可用时间内完成接管 接管不可行时,「人负全责」不成立

因此,给一个具体功能定位,至少要说清三件事:它在哪个阶段运行、它在那个阶段替人做了什么、人在那个阶段还能做什么。 只报一个层级数字(「这是 L4 系统」),信息量几乎为零,因为责任判断需要的正是这三件事。

常见误用:把厂商宣传中的「智能等级」直接当作责任依据。厂商定义服务于产品说明,责任划分必须回到具体阶段、具体功能、具体接管条件。两套语言不能混用。
02

二、责任分配的三种模型及其后果

自动化出事之后,「谁负责」有三个常见答案:人负全责、共同责任、系统责任。三者不是道德立场,而是三种不同的制度设计,各自带来不同的行为后果。

2.1 机制层:三种模型的分配逻辑

模型责任落点典型表述制度前提
人负全责 最终由操作者承担 「系统只是工具,决定是人做的」 人必须具备完整的接管能力与信息
共同责任 人、组织、供应商按环节分担 「设计、训练、运行各自承担一部分」 责任边界可划分、可追溯
系统责任 归于系统设计与治理 「这是系统性问题,个人无法控制」 存在有效的改进与补偿机制
关键:三种模型都能成立,但成立条件不同。把「人负全责」用在人没有接管能力的情境里,是把责任变成了替罪;把「系统责任」用在个人可以避免的情境里,是把责任变成了免责。

2.2 证据层:责任缺口

Matthias 在 2004 年的论文《The responsibility gap》中提出:当系统行为越来越由软件决定,而软件的行为又难以被操作者完整预测时,会出现「责任缺口」——传统上「谁操作谁负责」的框架找不到明确的承担者。

Sheridan 与 Verplank(1978)提出的自动化层级,本质上就是在描述「控制权在人和机器之间如何分布」。控制权每向机器移动一格,责任缺口就扩大一分,除非同时建立新的责任约定。

2.3 操作层:怎么选模型

  1. 先判断接管可行性。如果在可用的时间内,人无法获得足够信息并完成接管,就不能简单适用「人负全责」。
  2. 再划分环节。把一次运行拆成设计、训练、程序、监控、决断五个环节,逐环节指定承担者,而不是笼统写「机组负责」。
  3. 最后写进制度。共同责任必须落到合同、程序与评估表上;只在口头上说「大家都有责任」,等于没有人负责。
情境适宜模型理由
告警提示、人工决断 人负全责 信息完整、时间充足、动作可执行
建议系统、人工采纳 共同责任 建议质量由供应商负责,采纳判断由人负责
自动接管、人工监控 共同责任(偏系统) 人的主要职责是监控与异常处置,需明确监控标准
算法评分、影响个人发展 共同责任 + 申诉机制 结论影响个人,必须可解释、可质疑、可复核

2.4 失败层:三种模型的典型后果

后果 一

人负全责 → 替罪

Scapegoating

人没有接管条件却被要求承担全部后果。短期能平息事件,长期会压制报告意愿,真实风险转入地下。

后果 二

共同责任 → 稀释

Diffusion

人人有责等于人人无责。没有明确环节与证据链时,共同责任会变成互相推诿的制度语言。

后果 三

系统责任 → 免责

Absolution

把一切归给系统,个人的明知故犯与破坏性行为也被一并豁免,团队内部的公平感迅速崩塌。

03

三、核心矛盾:负荷的再分配

自动化没有消灭工作负荷,它只是把负荷从「操作」搬到了「监控」与「接管」,而后者恰恰是人更不擅长、更难训练的部分。

2.1 Bainbridge 的自动化悖论

Bainbridge 在 1983 年的《Ironies of Automation》中提出了一个至今仍然锋利的判断: 自动化越是把人的日常操作拿走,越是把「异常处理」留给人;而异常处理恰恰是最难、最少练习、最需要经验的部分。

她还指出另一个悖论:自动化系统的设计者,往往需要依赖操作者的技能来弥补系统的不足;而自动化又在持续削弱这些技能。 结果是系统越先进,人在关键时刻越不可靠——不是因为人退步了,而是因为练习机会被自动化拿走了。

2.2 监控负荷的三种来源

来源一

等待

监控的本质是「在很长时间里什么都不发生时保持警觉」。这与人的唤醒机制相反:低事件率会让注意力自然下沉。

来源二

低事件率

越可靠的系统,异常越少,越难维持「随时可能出事」的心理准备。可靠性本身在生产 complacency(自满)。

来源三

告警噪声

大量非关键告警会训练人「先忽略、后处理」。当真正的关键告警出现时,它被淹没在同一套反应模式里。

这三者叠加,使得「监控」成为一件看起来轻松、实际上高耗能的工作。它不是「坐着看」,而是持续抑制「不看了」的冲动。

2.3 技能退化与「回路之外」

Endsley 与 Kiris(1995)研究了自动化等级与「回路之外(out-of-the-loop)」表现的关系,核心结论是: 当人从主动控制中退出、只保留监督角色时,一旦自动化失效,人在理解当前状态、发现异常、做出决策三个环节上都表现更差。

原因有三:

  • 状态模型缺失。不亲手操作,就不会持续更新「系统现在在做什么、为什么」的内部模型。
  • 注意力未定向。不知道下一步该看哪里,扫描变成漫无目的的浏览。
  • 动作生疏。知道该做什么,但手不熟,动作慢且易错。

2.4 自动化越可靠,人越难保持警觉

Parasuraman 与 Manzey(2010)在综述自动化自满与偏见的研究时指出:自动化自满不是「态度问题」,而是注意资源分配的适应性结果—— 当系统长期可靠时,人会把注意力分配到别处,这是理性的;但在小概率失效发生时,这个分配就变成致命缺陷。

设计含义:不能靠「要求飞行员更警觉」来解决自满。有效的手段是改变任务结构:让监控有明确的检查点、让状态变化必须被主动确认、让「长时间无事」本身成为一个需要处理的信息。
04

四、两种极端:自动化偏见与自动化不信任

一边是「系统说的就是对的」,一边是「系统不可信,我自己来」。两者都会制造事故,只是路径不同。

3.1 自动化偏见

自动化偏见(automation bias)指人在有自动化建议时,倾向于高估自动化信息的准确性、低估自己的判断,包括: 对自动化告警的漏报不敏感、对自动化建议不做独立验证、在自动化与自身判断冲突时更快放弃自身判断。

它有两个典型变体:错误偏差(自动化错了,人跟着错)与遗漏偏差(自动化没提示,人也不去找)。 后者更隐蔽,因为它不产生任何「错误动作」,只产生「没有动作」。

3.2 不信任与弃用

另一端是自动化不信任(distrust)与弃用(disuse):因为一次失效、因为不理解逻辑、因为觉得「它总在关键时刻添乱」,人开始关闭、绕过、忽略自动化。

Dietvorst 等(2015)的研究发现,人在看到算法出错一次之后,会过快地对算法失去信心,即使算法整体表现优于人的判断。这种「算法厌恶」在训练评估场景中尤其需要警惕。

3.3 误用、滥用、弃用:三分法

Parasuraman 与 Riley(1997)把人与自动化的关系分为三类,这一分类至今仍是讨论自动化伦理的基本语言:

类型 定义 典型表现 后果
使用 在自动化能力范围内正确使用 理解模式、监控状态、按需接管 负荷下降,裕度增加
误用 过度依赖、过度信任 不验证建议、不监控状态、自满 自动化失效时无法发现或接管
滥用 在自动化能力范围之外使用 用不适用的模式处理不适用的情境 系统行为超出预期,后果不可控
弃用 拒绝使用本应使用的自动化 全程手动、关闭告警、绕过保护 负荷上升,失去自动化的裕度收益

3.4 模式混淆与自动化惊讶

Sarter 与 Woods 在 1990 年代的一系列研究中,把「模式问题」定义为一个独立的人因类别: 自动化系统有多种行为模式,模式之间的转换可能不显式、不显著,操作者会以为自己处在模式 A,实际处在模式 B。

自动化惊讶(automation surprise)是模式混淆的情绪版本:系统做出了操作者没有预期的动作,而操作者无法立即解释「它为什么这样做」。 惊讶本身不是错误,但它会占用工作记忆、延迟反应,并在高压下诱发错误动作。

可操作的对策:把 FMA(飞行模式通告)当作必须逐项报读的状态信息,而不是背景装饰;任何模式改变都必须有人说出「现在是什么模式、为什么」。
05

五、驾驶舱场景(教学示例)

以下四则均为教学示例,用于练习「层级—责任—接管」的判断,不对应任何真实航班或事故。

场景一:L2 建议——性能计算建议了一个边缘的起飞重量

教学示例

情境:性能软件给出起飞重量与推力设置,数据看起来完整。机组发现跑道条件刚刚更新,软件使用的仍是旧数据。

责任分析:软件承担「计算准确」的责任,但「输入是否最新」由人负责。若机组直接采纳而未核对输入,采纳动作就变成盖章,责任事实上被转移给软件——而软件无法承担。

动作要点:把「核对输入」做成独立步骤:跑道、天气、机型、构型逐项确认,而不是只看输出结果。

场景二:L3 辅助——自动刹车与跑道状况不一致

教学示例

情境:自动刹车设置在中等档位,但跑道刚从湿变干、刹车效应报告更新。系统按设定执行,机组在接地后才意识到停止距离有余度但不多。

责任分析:辅助层级的关键不是「系统做得对不对」,而是确认环节是否真实。如果确认只是「看一眼然后按下」,它就不构成有效监督。

动作要点:确认必须带判断:「这个设置与当前跑道状况匹配吗?如果不匹配,我改成什么?」

场景三:L4 执行——自动驾驶在侧风下持续偏航

教学示例

情境:自动驾驶接通,航向保持但持续存在偏流修正,机组两人都在处理客舱与管制事务,没有人注意到航迹已经偏离计划航线数海里。

责任分析:执行层级把「操作」交给了系统,把「监督」留给了人。监督失效的典型原因不是不会看,而是没有明确的检查点——没有人在某个时刻被要求确认「航迹还在计划上吗」。

动作要点:建立航迹检查点(航路点、高度层改变、每 N 海里),把「监督」变成有节奏的动作,而不是持续的背景注意。

场景四:L5 接管——系统请求接管,人接不住

教学示例

情境:系统在异常条件下断开并请求接管,机组有若干秒时间接手。PF 第一反应是找「为什么断开」,而不是先稳住飞机。

责任分析:接管失败通常不是知识不足,而是优先级错误:先解释、后控制。责任在人,但履行责任的能力被「回路之外」状态削弱了。

动作要点:接管口令固定为「我操纵→稳住状态→再解释」。解释可以晚十秒,控制不能晚一秒。

06

六、算法进入训练与评估

当算法从驾驶舱走进教室与模拟机,它评估的不再是「系统状态」,而是「人」。责任问题因此变得更尖锐。

5.1 三类应用与各自的风险

应用 算法在做什么 主要风险 必须保留的人工环节
自动评分 根据视频、语音、操作数据给出行为评分 把复杂行为压成单一分数;对非标准但有效的做法误判 教员复核与差异说明;对边界案例的集体讨论
行为识别 识别喊话、扫视、交叉检查等行为是否发生 识别「动作」但识别不了「意图」;漏检非典型表现 结合情境解释行为;允许学员说明当时判断
胜任力预测 基于历史数据预测未来表现或训练需求 把过去的表现当作未来的命运;放大历史偏差 预测只作参考,不作结论;有明确的复核与申诉路径

5.2 责任归属的四层

算法评估的责任不是「一个」责任,而是四层责任叠加。任何一层缺位,都会导致责任真空:

第一层

供应商

对算法在其声明适用范围内的性能、偏差与可解释性负责。必须提供适用边界、已知失效模式与版本变更说明。

第二层

运营人(航司/训练机构)

对「是否在适用范围内使用」负责。包括数据治理、教员培训、复核机制、申诉通道与最终决定权归属。

第三层

教员/评估员

对「是否采纳算法结论」负责。教员的专业判断不能被算法替代,但也不能变成「凭感觉推翻算法」。

第四层

被评估者

有权知道评估依据、有权对重大结论提出说明与申诉。这不是「对抗评估」,而是评估有效性的组成部分。

5.3 可解释性:三种层次的解释

「可解释」不是一个二元属性,而是分层的。对训练评估而言,至少需要三层:

  1. 结果解释。这个分数由哪些维度构成?各维度权重是多少?这是最低要求,但往往不足以支撑申诉。
  2. 证据解释。哪些具体片段(时间点、行为、通话)支撑了这个判断?教员与学员必须能看到原始证据。
  3. 反事实解释。如果当时做了不同的动作,结果会怎样变化?这一层最难,但对学习最有价值。
实践建议:没有第三层解释的算法评分,可以用于筛查与提示,不宜直接用于合格与否的判定。因为学员无法从「你被扣分了」中学到任何东西。

5.4 申诉通道的五个要素

  • 可知情。学员能看到自己的评分依据与证据片段,而不是只看到总分。
  • 可质疑。有明确的质疑入口与受理时限,不需要「找关系」。
  • 可复核。由未参与原评估的第三方复核,且复核者有权限推翻原结论。
  • 有记录。申诉过程与结论进入档案,用于改进算法与训练,而不是被封存。
  • 无报复。申诉行为不得影响后续训练机会、排班或评价——这一点必须写进制度,而不是靠口头承诺。

5.5 人工监督的失效:为什么「点确认」不算监督

很多系统在流程上设置了「人工确认」环节,但实际运行中它退化成一个按钮。原因有三: 信息过载(确认页面给的信息太多,人只看结论)、 时间压力(确认窗口太短)、 责任分散(「反正后面还有人看」)。

有效的人工监督必须满足三个条件:有足够时间、有可理解的证据、有真实的否决权。 三者缺一,监督就是形式。

监管视角:欧盟《人工智能法案》把教育与职业培训领域的部分 AI 应用列为高风险,并要求有效的人工监督。但「要求人工监督」若只落到流程文件上,反而会制造一种「已经有人负责」的错觉。
07

七、公平性、可审计性与算法评估

第五章已经说明「解释分三层」。这一章往前走一步:同一份解释,给不同的人看,需要完全不同的内容;而公平与否,不能靠声明,只能靠误差分布来证明。

7.1 机制层:解释的四个受众

可解释性常被当成一个技术指标,实际上它是一个沟通问题。同一套模型,开发者、评估员、被评估者、管理者需要的信息层级完全不同。只做一种解释,往往四类人都不满意。

受众 他要回答的问题 需要的解释形态 只给结果解释的后果
开发者/供应商 模型为什么在这个样本上出错 特征归因、置信度、边界样本清单 无法定位缺陷,只能整体重训
教员/评估员 这个分数对应哪段行为 时间点、原始视频与舱音片段、评分锚点 只能「相信或不信」,无法专业判断
被评估者 我下次具体改什么 反事实对照:换一种做法会怎样 知道被扣分,但学不到东西
管理者/监管者 这套工具整体可靠吗、偏差在哪 分组误差统计、版本变更记录、审计日志 只能看「准确率」一个数字
关键:四种解释不是「越详细越好」,而是各自够用。把开发者用的特征归因图直接甩给学员,信息量很大,可理解性很低,等于没有解释。

7.2 证据层:公平性看五个方向

算法公平性是机器学习研究中的活跃领域。Barocas 与 Selbst 在 2016 年的论文《Big Data's Disparate Impact》中系统讨论了数据挖掘可能产生的差别性影响:即使没有歧视意图,基于历史数据的模型也可能让某一群体承受更高的错误率。 在航空训练评估中,公平性至少要看五个方向:

方向 要检查的问题 可观察信号
样本代表性 训练数据是否覆盖不同机型、阶段、语言背景 某些群体样本极少,模型对其「没见过」
标注一致性 同一行为是否被不同评估者一致标注 标注者间一致性低,模型学到的是噪声
误差分布 误判是否集中在某类人身上 某群体误报率或漏报率明显偏高
特征合理性 使用的特征是否与胜任力真正相关 使用与任务无关的个人属性作为代理变量
结果可申诉 被评估者能否质疑并触发复核 无入口、无时限、无反馈

公平性研究中有几组彼此不能同时满足的数学定义,例如人口比例均等(各群体被判定为「通过」的比例相同)与均等化几率(各群体的真阳性率与假阳性率相同,Hardt、Price 与 Srebro 在 2016 年讨论了这一准则)。 这意味着:组织必须先说清「我们要哪一种公平」,再谈指标,而不是笼统要求「公平」。

注意:公平不等于「所有人用同一把尺」。对语言背景不同、机型经历不同的群体,同一把尺可能产生系统性偏差。公平要求的是误差不集中于某一群体,而不是形式上的统一。

7.3 操作层:上线前的四项检查

  1. 能不能说清:随机抽取十个评分,人工能否复述出「为什么是这个分」。
  2. 能不能对上:同一段录像由两名评估者独立评分,差异是否在可接受范围。
  3. 能不能反驳:让一名教员扮演被评估者提出异议,系统能否给出证据片段与替代路径。
  4. 能不能停用:如果工具被证明不可靠,是否有停用流程且不影响已有结论的效力。

四项检查中,第二项最容易被跳过。原因很现实:自己测自己,差异总是「可以接受」。有效做法是引入未参与开发的第三方评估者,并且事先约定差异容忍度,而不是事后解释差异。

7.4 失败层:三种常见自欺

  • 把「模型准确率高」当成可解释。准确率描述整体,不描述个案;被评估者需要的是个案解释。
  • 把「没有歧视意图」当成公平。公平看结果分布,不看动机声明。
  • 把「人工复核」当成申诉通道。复核若没有时限、没有记录、没有推翻权,就只是流程装饰。
后果链:准确率被当成解释 → 个案无法被质疑 → 复核退化为签字 → 错误结论进入档案 → 学员开始揣摩系统偏好 → 评估数据失真 → 模型在新数据上更不准。整条链条的起点,往往只是「我们这个模型准确率很高」这一句话。
08

八、伦理边界:数据、知情与偏差

伦理不是「加一段免责声明」,而是回答四个具体问题:用什么数据、谁知道、偏差伤了谁、谁说了算。

6.1 数据使用的边界:最小必要

训练与评估会产生大量数据:舱音、视频、眼动、操作轨迹、生理指标、历史评分。技术上「可以采集」不等于「应该采集」。 最小必要原则要求:只采集评估目标所必需的数据,只保留必要时长,只向必要人员开放。

特别需要警惕的是用途漂移:为训练改进采集的数据,后来被用于晋升筛选;为安全分析采集的数据,后来被用于纪律处罚。 一旦发生用途漂移,数据的可靠性会迅速崩塌——因为人开始「表演给系统看」。

6.2 知情权:被评估者不是对象

被评估者有权知道:评估使用了哪些数据、算法关注哪些行为、结论如何生成、自己在哪些环节可以提出异议。 《中华人民共和国个人信息保护法》对自动化决策规定了透明度与拒绝仅由自动化决策作出重大决定的权利;欧盟《通用数据保护条例》也有关于自动化决策与解释的相应规定。

在训练场景中,知情权还有一层专业含义:知道评估标准,才能有针对性地练习。把标准藏起来,只会让学员去猜,而不是去学。

6.3 算法偏差与「客观性幻觉」

算法不会自动变得客观。Barocas 与 Selbst(2016)分析了「大数据差异化影响」的机制:训练数据中的历史偏差会被模型学习并放大,而模型的数学外观又让结果显得中立。

在飞行训练评估中,三类偏差最值得警惕:

  • 历史偏差。过去某类学员得分偏低,模型会把这种偏低当作「规律」延续下去。
  • 表达偏差。模型可能把「语速快、语气强」识别为「果断」,把「话少、语气缓」识别为「参与不足」——这直接惩罚了文化差异。
  • 情境偏差。同样的行为在不同机型、不同阶段、不同天气下意义不同,模型若忽略情境,就会误判。
一句话:「系统算出来的」不是「客观」,只是「可重复」。可重复的错误,比偶发的错误更危险,因为它会被制度化为标准。

6.4 「系统说的」不能作为最终依据

无论算法多准确,它都不能成为对个人作出重大决定的唯一依据。原因不是「机器不可信」,而是三条结构性限制:

  1. 算法只见过它见过的。训练数据覆盖不了所有情境,尤其是罕见的、真正考验胜任力的情境。
  2. 算法不承担责任。它不能出席申诉会、不能解释自己的判断、不能为错误负责。
  3. 算法无法理解「为什么」。它可以识别行为,但无法判断行为背后的意图、情境与权衡,而这正是胜任力的核心。

因此,正确的定位是:算法提供证据与提示,人作出判断并承担后果。这个顺序一旦颠倒,评估就失去了合法性。

09

九、数据治理的四道边界

算法评估的合法性,建立在数据治理之上。数据从采集到销毁要走四道闸门,任何一道敞开,评估结论都会失去可信度。

9.1 机制层:全生命周期的四道闸门

数据治理不是一份隐私声明,而是四个具体动作:采集什么、存在哪里、给谁使用、何时销毁。 四道闸门的共同目标只有一个:让数据的使用范围可预期、可追溯、可停止。

闸门 核心问题 最低要求 失控后的直接后果
采集 这项数据是评估目标所必需的吗 逐项说明用途;能不用就不用;涉及第三方时须告知 过度采集,被评估者开始防备与表演
存储 保存在哪里、保存多久、谁能访问 分级存放、权限最小化、明确保存期限 权限扩散,数据变成人际压力工具
使用 这次使用是否仍在原定目的范围内 用途变更须重新审批;跨用途须重新告知 用途漂移,训练数据变成处罚依据
销毁 到期后是否真的删除、可否验证 到期自动清理;保留销毁记录;衍生数据一并处理 永久留存,历史结论永远跟着人走

9.2 证据层:三条可核实的法律原则

《中华人民共和国个人信息保护法》确立了处理个人信息的若干原则,其中与本主题直接相关的有三条:最小必要(限于实现处理目的的最小范围)、目的明确(处理目的应当明确、合理)、保存期限最短(保存期限应为实现目的所必要的最短时间)。 该法同时规定了个人对自动化决策的知情权、拒绝权与要求说明的权利。

《中华人民共和国数据安全法》要求数据处理活动建立数据分类分级保护制度。对训练机构而言,这意味着舱音、视频、生理数据不能与普通行政数据混在一起存放。

航空场景的特殊性:舱音记录包含第三方(管制员、客舱机组)的语音。采集时取得机组成员同意,并不等于取得了所有被录入者的同意。这一点在训练复盘与算法训练中都必须单独处理。

9.3 操作层:一张数据治理矩阵

把数据类型与四道闸门交叉,可以做成一张组织内部使用的治理矩阵。下表是格式示例,具体期限与权限须由组织按自身制度填写,本文不给出统一数值。

数据类型 采集目的 可访问角色 保存期限 销毁方式
模拟机操作参数 训练评估与课程改进 教员、训练管理员 按训练周期设定 到期批量删除并留记录
舱音与视频 行为讲评与证据留存 本机组、指定教员 短于操作参数 删除原始文件与副本
眼动与生理指标 负荷研究 研究负责人(匿名化后) 研究结束后限期 去标识化或彻底删除
历史评分与结论 资质管理与训练追踪 训练主管、本人 按资质档案要求 归档而非随意扩散

矩阵落地时还需要一条用途变更流程:任何把训练数据转用于晋升、淘汰、纪律处理的提议,都必须经过独立审批、重新告知被评估者,并给出拒绝的选项。没有这条流程,矩阵只是摆设。

9.4 失败层:四条典型失控链

失控链 一

用途漂移

训练数据被用于晋升筛选 → 学员得知后开始表演 → 数据不再反映真实能力 → 评估与训练同时失效。修复成本最高,因为信任一旦崩塌无法靠声明恢复。

失控链 二

采集过度

「先采下来再说」→ 存储成本与泄露风险上升 → 出现一次不当访问 → 所有人拒绝配合数据采集 → 安全研究失去样本。

失控链 三

权限扩散

原始视频被转发到非授权群组 → 片段脱离语境传播 → 当事人受到非正式压力 → 报告与申诉意愿下降。

失控链 四

永久留存

一次早期失误的视频被长期保存 → 在多年后的晋升讨论中被重新提起 → 人被早期表现定义 → 组织失去改正与成长的空间。

判断标准:如果一项数据治理措施只能用「我们不会乱用」来解释,而不能用流程、权限与记录来解释,它就还没有落地。
10

十、申诉与复核机制的设计

申诉不是「给不满意的人一个出口」,而是评估系统的纠错回路。它的价值不在于推翻多少结论,而在于让错误能够被发现。

10.1 机制层:申诉的三个功能

功能 对个人 对组织 缺失后的表现
个案纠正 错误结论有机会被推翻 减少错误归档 错误进入档案,当事人只能接受
系统学习 知道标准如何被理解 发现评估标准与算法的盲区 同类错误反复发生,无人统计
合法性 感到被当作有判断力的人 评估结果更容易被接受 结论靠权力维持,而非靠说服

程序正义研究(Thibaut 与 Walker,1975)早就指出:人对结果的接受度,很大程度上取决于过程是否可参与、规则是否一致、意见是否被听见。申诉机制正是这三个条件的制度化。

10.2 证据层:六个程序要素

  • 可进入。入口公开、书面化,不依赖熟人关系;受理不因申诉内容而设置隐性门槛。
  • 有时限。受理、答复、复核各阶段都有明确时限,且时限对双方公开。本文不给出统一天数,由组织按制度确定。
  • 有回避。复核人不得是原评估者、直接上级或与当事人存在利益关系者。
  • 有证据。双方都能看到同一份原始材料;不允许「只有复核人能看到」。
  • 有权限。复核结论可以被执行,包括改分、重评、撤销结论,而不只是「建议原评估者再想想」。
  • 有记录与反馈。每个案件形成书面记录,定期汇总为统计报告,进入算法与标准改进。
顺序很重要:先有「有权限」,再谈「有时限」。如果复核者无权改变结论,再快的答复也只是礼貌。

10.3 操作层:一次申诉的完整流程

STEP 1 · 告知
评估结束时,同时交付结论、证据片段与申诉入口。告知不是「附一句话」,而是让当事人知道「哪一条结论可以质疑、向谁质疑、多久有答复」。
STEP 2 · 受理
登记案件,确认争议点:是事实认定错误、标准适用错误,还是程序错误。三类争议走不同的复核路径,避免把所有申诉都变成「求情」。
STEP 3 · 分派
指定未参与原评估的复核人;涉及算法结论的,同时要求供应商提供该案例的技术说明。
STEP 4 · 复核
复核人独立查看原始证据,形成书面意见;必要时组织三人小组,避免单人判断再次成为单点。
STEP 5 · 决定与执行
明确结论:维持、改分、重评、撤销。决定必须由有权力的角色签署,并同步更新档案。
STEP 6 · 归档与学习
把案件去标识化后纳入季度分析:哪类争议最多、哪个评分维度最容易误判、算法在哪些边界上失效。没有这一步,申诉只是一次次孤立事件。

10.4 失败层:申诉机制的三种空转

空转 一

无推翻权

复核人只能「提出建议」,最终仍由原评估者决定。结果是申诉成功率极低,且失败原因永远是「证据不足」。

空转 二

无回避

由直接上级复核下属的申诉。技术上是复核,社会上是「再确认一次权威」,当事人往往在第二步就放弃。

空转 三

无统计

案件处理完即封存,从不汇总。同样的误判重复三年,组织却认为「申诉很少,说明评估很准」。

反直觉的判断:申诉率长期为零,通常不是评估完美,而是通道失效。健康的系统会有少量、分散、可解释的申诉,并伴随稳定的改判比例。
11

十一、监管与行业自律的分工

算法治理不靠单一主体。法规划定底线,标准提供方法,行业自律填补细节,组织承担运行责任——四层各有各的失效方式。

11.1 机制层:三种治理工具

工具 优势 局限 最适合解决的问题
法规 有强制力,底线统一 修订慢,难跟上技术迭代 个人权利、重大决定的边界
标准 可操作,便于审计与认证 容易变成纸面合规 评估方法、验证流程、文档要求
行业自律 反应快,贴近实践 缺乏强制力,可能逐底竞争 数据共享、伦理共识、最佳实践
组织治理 能落到具体流程与角色 受商业压力影响 日常运行、复核、申诉、退出

四层不是替代关系,而是互补关系。法规说「不能只用算法作重大决定」,标准说「怎么验证人工监督有效」,自律说「同行怎么共享失效案例」,组织说「我们这台设备、这批教员具体怎么做」。

11.2 证据层:可核实的监管框架

  • 中国:《个人信息保护法》对自动化决策规定了透明度、拒绝权与要求说明;《数据安全法》要求数据分类分级保护;《生成式人工智能服务管理暂行办法》对生成式 AI 服务提出管理要求。本文只引用文件名称与原则。
  • 欧盟:Regulation (EU) 2024/1689(《人工智能法案》)采用风险分级思路,把教育与职业培训中的部分 AI 应用列为高风险,并要求人工监督、风险管理与记录留痕。
  • 国际民航:ICAO Doc 9868(PANS-TRG)提供胜任力为本训练与评估的框架;EASA 的《AI Roadmap 2.0》(2023)提出航空 AI 应用的分级与信任构建思路。
说明:本文不引用具体条款号,也不对各国分值或分级结果作量化断言。法规与标准会修订,具体适用应以现行有效文本与所在国民航管理当局的要求为准。

11.3 操作层:组织内的四层治理结构

  1. 决策层。批准算法工具的引入与退出,指定最终责任人;对「影响个人重大利益」的使用场景保留否决权。
  2. 安全与合规层。维护算法台账:工具名称、版本、适用边界、验证记录、已知失效、数据来源、上次审计时间。
  3. 训练业务层。负责标准解释、教员培训、复核分派与申诉统计;把评估结果转化为课程改进。
  4. 一线教员。负责个案判断与证据留存;有权降低自动化等级、有权要求人工重评。

四层结构的关键不是层级数量,而是每一层都有可执行的否决权。只有决策层能停用工具、只有合规层能冻结数据、只有教员能改判个案——权力分散,才不会被单点滥用。

11.4 失败层:三种治理失灵

失灵 一

合规表演

把监管要求做成一份可展示的文档,流程照旧。审计时拿得出材料,运行时没有人使用。特征是「文件很厚,问题照旧」。

失灵 二

自律逐底

同行都在压缩评估成本,坚持标准的机构反而失去竞争力。没有法规托底的自律,最终会向最低标准收敛。

失灵 三

监管滞后

规则针对上一代技术设计,新产品已经在适用边界之外运行。组织于是陷入两难:遵守规则则无法使用,使用则无规则可依。

可行做法:在法规尚未明确时,组织应自行建立「不低于现有最高标准」的内部准则,并把边界案例主动提交行业讨论。等待规则落地再行动,往往意味着风险已经发生。
12

十二、闭环:最终决定权在人,但人要接得住

「人保留最终决定权」是一句正确的原则,但它只有在人具备接管能力时才成立。否则它只是一句免责声明。

7.1 规章层面:原则而非细节

中国民航的《大型飞机公共航空运输承运人运行合格审定规则》(CCAR-121 部)以及国际民航组织附件 6 等文件,均确立了机长对航空器运行的最终责任。 本文只引用文件名称与原则,不引用具体条款号——因为条款会修订,且具体适用需以现行有效文本为准。

需要注意的是,规章确立的是责任的归属,不是能力的保证。规章可以说「机长负责」,但不能保证机长在自动化失效后的三秒内接得住。

7.2 接管能力的四个条件

条件 含义 如何验证
知识 知道系统在做什么、为什么断开、接管后应保持什么状态 能在无提示情况下解释 FMA 与断开原因
练习 近期真的做过接管动作,而不是「学过」 模拟机中随机插入接管情境,无预告
时间 有足够的告警提前量与操作窗口 测量从告警到必须接管的可用秒数
权限 制度与文化允许立即接管,不需要先请示 简令中是否明确授权;接管后是否被质疑

四个条件中,最容易被忽略的是权限。很多副驾驶技术上接得住,但社会意义上接不住——担心接管后被评价为「越权」。 这与跨文化议题直接相连:接管不仅是技术动作,也是一次权力行为。

7.3 可接管性设计:让接管成为可能

「人保留最终决定权」不能只靠人的努力,系统设计必须为此创造条件。可接管性设计至少包括四项:

  • 状态可见。接管瞬间,人能在最短时间内看到「现在在做什么、接下来会做什么」。
  • 模式显式。模式转换有明确、显著、可复诵的提示,而不是隐藏在某个页面里。
  • 交接平缓。接管不是「突然全部交给你」,而是有过渡、有提示、有确认。
  • 权限明确。谁可以在什么条件下接管,写进程序并在简令中确认。

7.4 一个完整的责任闭环

把前面几节拼起来,可以得到一个可操作的闭环:

STEP 1 · 设计
明确自动化层级与适用边界;把「谁在什么条件下负责」写进设计文档,而不是留给运行中临场解释。
STEP 2 · 训练
训练「监督」与「接管」,而不只是「操作」;刻意制造自动化不可用的情境,保持手动能力。
STEP 3 · 运行
建立检查点与复诵机制;接管口令固定;模式改变必须有人说出来。
STEP 4 · 复盘
区分「系统失效」「人未监督」「人未接管」「设计未支持接管」四类原因,分别对应不同改进。
STEP 5 · 反馈
把运行与复盘数据反馈给设计与训练;算法评估的结论也必须进入这个反馈环,而不是只进档案。

7.5 人与算法冲突时的处置原则

「最终决定权在人」不是说人可以随意推翻算法,而是说当人与算法结论不一致时,必须有一套可执行的处置顺序。没有顺序,冲突就会退化为两种极端:人盲目服从,或人情绪化否定。

冲突情形 错误处置 正确处置
算法建议与人的判断相反,且时间紧迫 先争论谁对,错过操作窗口 先执行安全动作,再记录分歧,事后复盘
算法结论与人的观察不符,但时间充足 直接采纳算法,放弃观察 核对输入与证据,必要时降低自动化等级
人要求接管,算法仍在工作 等人先请示,延误接管 接管不需要请示;接管后立即报读状态
复盘时人与算法各有一套说法 以职位高者或分数高者为准 以证据链为准,双方都需提交原始材料
  • 安全动作优先于解释。先稳住状态,再解释原因。解释可以晚,控制不能晚。
  • 降级不需要请示。任何机组成员都有权降低自动化等级;制度应明确保护这一动作,而不是事后质疑「为什么断开」。
  • 算法不得否决安全动作。系统可以提示、可以建议、可以记录,但不能阻止人接管。
  • 冲突时保留证据。不急于定性谁对,先把当时的显示、告警、操作与通话留存下来。
  • 复盘以证据链为准。不以职位定对错,也不以算法分数定对错;两者都只是证据的一部分。
13

十三、四个伦理困境:逐层分析与场景推演

伦理困境不是「好人坏人」的选择题,而是正确原则之间发生冲突的结构性问题。以下四个困境都用同一套四层拆解:机制、证据、操作、失败。两段场景均为教学示例。

13.1 困境一:训练数据被用于晋升筛选

机制层

训练数据的设计目的是改进训练,晋升数据的设计目的是区分人。两者对数据的要求相反:前者要求容错(允许犯错才有学习),后者要求区分(必须稳定排序)。 同一批数据承担两种目的,必然导致被评估者在训练中隐藏错误。

证据层

《个人信息保护法》要求处理目的明确,并赋予个人对自动化决策的知情与拒绝权。目的改变后继续使用原数据,需要有新的合法性基础,而不是默认延续。

操作层

  1. 在数据采集时书面写明用途,并区分「训练改进」与「资质决定」两类用途。
  2. 设立用途变更审批:谁提出、谁评估、谁批准、如何告知,四步都要留痕。
  3. 为被评估者提供「训练数据不用于晋升」的选项,并保证选择该选项不影响其训练机会。

失败层

典型后果链:训练数据转用于晋升 → 学员发现 → 训练中只展示「标准动作」 → 教员看不到真实困难 → 课程无法针对性改进 → 整体能力停滞,而评估分数看起来更整齐。 分数变好,能力变差,这是数据治理失败最隐蔽的形态。

13.2 困境二:自动评分决定是否放行

机制层

自动评分的优势是一致,劣势也是一致:它会稳定地重复同一种偏差。当评分直接决定「能否放行」,算法就从「描述工具」变成了「分配资格的权力」。

证据层

欧盟《人工智能法案》把教育与职业培训领域的部分 AI 应用列为高风险,要求人工监督与记录留痕;《个人信息保护法》对「仅通过自动化决策作出重大决定」设置了限制。两者指向同一个原则:重大决定不能只有算法。

操作层

  • 定位为筛查:算法只负责标记「需要重点复核」的案例,不直接给出合格与否。
  • 双签字:任何不合格结论,必须有一名未参与算法开发的教员独立签署。
  • 反事实记录:对每个不合格案例,写明「差在哪个具体行为、下次如何改」,而不只是分数。
  • 定期抽样:随机抽取已通过案例重新人工评估,测量漏判率,而不是只测误判率。

失败层

失败形态是「算法建议 + 人工盖章」。人工复核者看到的只有分数与结论,看不到原始证据,也没有时间逐个核对,于是复核退化为签字。 一年后组织发现:所有争议案例都「符合流程」,但没有一件被真正复核过。

13.3 困境三:系统接管之后出了事

机制层

自动化层级越高,人在正常情况下的参与越少;一旦系统请求接管,人必须在极短时间内从「监控者」切换到「操作者」。这个切换本身需要时间与情境重建,而制度往往假设它可以瞬间完成。

证据层

Matthias(2004)提出的「责任缺口」指出:当系统行为由难以预测的软件决定时,传统的「谁操作谁负责」找不到明确的承担者。 Endsley 与 Kiris(1995)关于「回路之外」的研究表明,自动化程度越高,人在接管时的情境意识恢复越慢。

操作层

  1. 在设计阶段标明接管窗口:从告警到必须接管的可用时间,以及人完成接管所需的最短时间。
  2. 在训练中随机插入无预告接管,测量真实接管时间,而不是「演示过一次」。
  3. 在复盘时区分四类原因:系统失效、人未监督、人未接管、设计未支持接管,分别对应不同改进。

失败层

最常见的误用是把所有接管失败都归为「机组能力不足」。后果是:训练加码、人更紧张,而设计缺陷(告警太晚、模式不显式、交接不平缓)完全没有被触碰。 下一批机组会在同样的设计下重复同样的失败。

13.4 困境四:学员为算法表演

机制层

任何测量都会改变被测量者的行为。当学员知道算法关注哪些特征(语速、扫视次数、喊话音量),最省力的策略不是提高能力,而是生产特征。 这不是道德问题,而是测量的反身性问题。

证据层

Campbell 在 1979 年讨论「社会指标的腐败」时指出:当一个指标被用于决策,它就会承受压力,并倾向于失去作为指标的有效性。这条规律对训练评估同样适用。

操作层

  • 不公开特征权重:公开评估维度与标准,但不公开算法的具体权重与阈值。
  • 保留非标准路径:在模拟机中设置没有唯一正确答案的情境,观察判断过程而非动作外观。
  • 交叉验证:算法结论与教员判断不一致时,把差异本身作为讨论材料,而不是简单取其一。

失败层

后果链:权重泄露 → 学员练习「看起来对」 → 真实情境中判断力未提升 → 算法在训练集上表现更好 → 组织更加信任算法 → 评估与能力彻底脱钩。 这条链条最难察觉,因为所有指标都在变好。

13.5 场景推演一:一次接管的时间线(教学示例)

以下为虚构教学示例,不对应任何真实航班、机型或事故。用于练习「设计—监督—接管—复盘」的责任判断。

T-0 · 巡航 · 正常
自动驾驶接通,航迹稳定。PF 在处理公司通讯,PM 在核对航路。两人的注意力都不在飞行状态上。此时自动化处于 L4(执行),人处于监督角色。
T+1 · 出现轻微异常
航迹开始缓慢偏离,偏流修正量增大。系统没有告警,因为偏差尚未达到阈值。决策点:是否把「趋势监控」作为固定检查点,而不是等告警。
T+2 · 系统降级
系统在某个条件下自动降级,模式发生改变,FMA 有变化但无显著音响告警。PF 注意到「好像有东西变了」,但没有报读。决策点:模式改变是否必须有人说出来。
T+3 · 请求接管
系统断开并给出接管提示。PF 的第一反应是问「为什么断开」,手没有先上操纵。决策点:先控制还是先解释。
T+5 · 状态建立
PF 在提示下先稳住姿态与推力,PM 报读当前状态与下一步动作。飞机回到可控状态,但已偏离计划航迹。决策点:接管口令是否固定为「我操纵—稳状态—再解释」。
T+10 · 恢复与说明
状态稳定后,两人回查断开原因,确认是系统在边界条件下的正常保护逻辑。决策点:是否把「系统为什么断开」写进简令与训练,而不是留给临场猜测。
T+30 · 复盘
复盘区分四类原因:系统按设计动作(非失效)、人未在趋势阶段发现偏差(监督)、人接管顺序错误(接管)、告警设计不足以引起注意(设计)。四类原因对应四项不同改进,而不是一句「机组情景意识不足」。
本场景的决策要点:责任始终在人,但「人能否履行责任」由设计、训练与简令共同决定。把结果只归到人身上,等于放弃了三个可以改进的环节。

13.6 场景推演二:一次评估复核会议(教学示例)

以下为虚构教学示例,用于练习「算法结论、教员判断、申诉权利」三者的边界。

复核会议:自动评分判定「沟通不足」,学员提出申诉

教学示例

评估员:系统给出沟通维度偏低,主要依据是「关键阶段喊话次数少、语句短」。我当时的判断也是偏弱,所以签署了结论。

学员:我承认我话少。但当时 PM 已经在报读,我重复喊话会打断他。我选择在关键点才说。系统是不是把「话少」直接当成「沟通不足」?

复核人:先看证据。请调出三个时间点:进近简令、高度改变、最后进近。我们要判断的不是「说了几句」,而是「该说的信息有没有在需要的时候被传递」。

评估员:(查看片段后)简令阶段信息完整;高度改变时学员有确认;最后进近时有一次交叉检查缺失。问题可能不在「话少」,而在某一个具体节点的确认缺失。

复核人:那么原结论的表述需要修正:不是「沟通能力不足」,而是「特定节点的交叉检查缺失」。这两者对训练安排完全不同。前者指向长期能力,后者指向一次可纠正的行为。

学员:如果结论是后者,我知道下次该练什么。但我还是想知道,系统为什么把整体沟通判低?

复核人:这是第二个问题:算法的解释是否足够。我们需要供应商提供该案例的维度权重与片段对应关系。在拿到之前,这个维度的分数不进入最终结论。

训练主管:记录三点:结论改为具体行为描述;算法该维度暂停用于合格判定;本案例进入季度统计,检查是否存在「话少即低分」的系统性偏差。

本场景的决策要点:申诉的价值不是「把低分改成高分」,而是把模糊的整体判断还原为具体的行为事实。复核人没有否定评估员,也没有顺从学员,而是把争议从「能力」拉回到「证据」。
14

十四、两张检查单

一张用于驾驶舱的日常自动化使用,一张用于组织引入算法评估工具前的尽职调查。

8.1 驾驶舱自动化三问(每个关键节点问一次)

  • 现在是什么模式?FMA 是否被逐项报读并确认,而不是「扫一眼」?
  • 它为什么会这样做?当前系统行为是否能被解释?如果不能,是否立即降低自动化等级?
  • 如果它现在断开,我接得住吗?状态是否清楚、手是否熟、权限是否明确?
使用时机:起飞前、模式改变后、航路点转换、高度层改变、进近简令后、任何告警后。不要等到「感觉不对」才问。

8.2 算法评估工具引入前的尽职调查清单

  • 适用边界。供应商是否书面说明工具适用于哪些机型、阶段、训练目标?超出边界时如何提示?
  • 数据来源。训练数据来自哪里?是否包含本公司之外的群体?是否存在历史偏差?
  • 性能证据。是否有独立的验证结果(而不只是供应商自测)?在边界案例上的表现如何?
  • 可解释性。是否能提供结果解释、证据解释与反事实解释?教员能否看到原始片段?
  • 人工监督。复核者是否有足够时间、证据与否决权?「确认」环节是否只是按钮?
  • 申诉通道。是否具备知情、质疑、第三方复核、记录与无报复五项要素?
  • 数据治理。采集范围是否最小必要?保存期限?访问权限?是否会发生用途漂移?
  • 责任约定。供应商、运营人、教员、学员四层责任是否在合同中明确?出错时谁负责修复与追溯?
  • 变更管理。算法版本更新是否通知?更新后是否重新验证?历史评分是否可复现?
  • 退出机制。如果工具被证明不可靠,能否停用而不影响已有评估结论的效力?

8.3 一次评估结束后的自检

  • 我是否真的看过证据,而不只是看了分数?
  • 我能否用自己的话解释这个结论,而不引用「系统显示」?
  • 如果学员提出异议,我是否有能力回应,而不是让他去找供应商?
  • 这次评估有没有产生对训练有用的信息,而不只是一个等级?
底线:任何评估结论,如果不能在人工复核中被解释、被质疑、被推翻,它就不应该被用于影响个人的训练机会、资质或职业发展。
15

十五、训练与落地:把原则变成动作

前面十四章讲的是「应该怎样」。这一章讲「明天怎么做」:在训练、讲评与管理三个场景中,把责任与判断变成可重复的动作。

15.1 三个场景,三种用法

场景 用什么 怎么用 要避免
训练 无预告接管、自动化失效、模式混淆 先做后讲;让学员在信息不全时决策 把接管当成演示,教员先动手
讲评 时间线、证据片段、四类原因 先让学员复述判断,再对照证据 用结论代替过程;用分数代替行为
管理 算法台账、申诉统计、退出机制 定期审计;把争议当作改进输入 把合规文档当成治理本身

15.2 讲评四问:把责任讨论落到具体环节

  1. 当时你认为系统在做什么?先还原人的理解,而不是先评价对错。理解错了,后面全是连锁反应。
  2. 你依据什么判断它做得对或不对?把判断依据说出来,才能区分「有依据的判断」与「感觉不对但没管」。
  3. 如果它此刻断开,你准备做什么?检验接管准备,而不是检验知识记忆。
  4. 哪一个环节本来可以更早发现?把注意力从「结果」移到「可介入的时点」,这才是可训练的部分。
使用建议:四问按顺序问,不要跳。第一问被跳过时,讲评往往变成教员的独白;第四问被跳过时,讲评往往变成追责。

15.3 学员最常见的三种错误

错误 一

把分数当结论

看到评分就接受或反驳,却不看证据片段。后果是:无法从评估中获得任何可迁移的学习,只记住了「我这次是几分」。

纠正:要求学员用自己的话,把「哪一段、什么行为、为什么扣分」复述一遍,复述不出来就说明还没看懂。

错误 二

把解释当理由

用「系统说的」「标准就是这样」来解释自己的判断。后果是:责任被转交给工具,一旦出事,个人既没有判断也没有担当。

纠正:训练中禁止引用「系统显示」作为唯一理由,必须说出「我观察到什么、我如何权衡」。

错误 三

把复核当翻案

把申诉理解成「找关系改分」,而不是「把模糊判断还原为具体事实」。后果是:申诉通道被消耗在情绪对抗上,真正需要纠正的错误反而被淹没。

纠正:申诉表只写三栏:争议的具体结论、支撑证据、希望如何重评。不写情绪、不写比较、不写他人。

15.4 组织落地的最小方案

  1. 先做一张台账。列出组织正在使用的所有算法工具:名称、版本、用途、适用边界、责任人。没有台账,后面所有治理都无从谈起。
  2. 再定一条红线。明确哪一类决定不得仅由算法作出(例如资质、放行、晋升)。红线要写进制度,而不是停在会议纪要。
  3. 建立一个复核池。指定若干未参与原评估的教员,轮流承担复核;给复核人真实权限与工作量减免。
  4. 每季度做一次统计。统计申诉数量、改判比例、误差分布、算法版本变更。数字不好看不是问题,不统计才是问题。
  5. 每年做一次退出演练。假设某工具明天必须停用:已有结论是否仍有效、替代流程是否可用、数据如何封存。演练过,才叫有退出机制。
16

十六、自测题

十道题,覆盖层级、责任模型、偏见、公平性、数据治理与申诉。先作答,再看答案与解析。

16.1 题目

  1. 自动化层级从 L1 到 L5,人的日常参与减少,但为什么责任没有减少?
  2. 「人负全责」在什么条件下才成立?请列出至少两个条件。
  3. 共同责任最常见的失败形态是什么?为什么?
  4. 自动化偏见与自动化不信任,分别在什么情境下更容易出现?
  5. 为什么「准确率高」不能作为可解释性的证据?
  6. 公平性为什么不等于「所有人用同一把尺」?
  7. 数据治理的四道闸门分别是什么?哪一道最容易发生用途漂移?
  8. 一个有效的申诉机制,为什么必须先有「推翻权」再谈「时限」?
  9. 算法评分用于「筛查」与用于「合格判定」,责任分配有何不同?
  10. 学员「为算法表演」的根源是什么?组织应如何降低这种风险?

16.2 答案与解析

题号 参考答案 解析
1 责任被「低频化」而非减少:平时不需要人,需要人时必须立刻会。 层级越高,人的日常操作越少,但接管要求越高。责任仍在人,只是履行责任的机会变少、难度变大。
2 人必须能获得足够信息,并在可用时间内完成接管;制度必须赋予其接管权限。 缺少信息、时间或权限中的任何一项,「人负全责」都会退化为替罪机制。
3 责任稀释:人人有责等于人人无责。 没有环节划分与证据链时,共同责任会变成互相推诿的制度语言。必须把设计、训练、程序、监控、决断逐环节指定承担者。
4 偏见多出现在系统长期可靠、人逐渐退出监控时;不信任多出现在经历过一次系统错误之后。 前者是「太信」,后者是「不信」。两者都会削弱有效监督,只是方向相反。
5 准确率描述整体表现,不描述个案;被评估者需要知道「我这一段为什么被扣分」。 可解释性要分受众:开发者要特征归因,教员要证据片段,学员要反事实对照,管理者要分组误差统计。
6 因为不同群体的基线不同,同一把尺可能产生系统性误差集中。 公平要求误差不集中于某一群体,而不是形式上的统一。公平还有多种数学定义,组织必须先说清采用哪一种。
7 采集、存储、使用、销毁;使用环节最容易发生用途漂移。 用途漂移往往不是恶意,而是「顺手再用一下」。因此需要独立的用途变更审批与重新告知。
8 因为无推翻权的复核只是礼貌,缺少救济能力;时限再快也不能纠正错误。 先保证复核者能改分、重评、撤销,再谈多久答复。否则申诉通道会迅速失去信任。
9 筛查时算法只提示、人作判断,人负主要责任;合格判定时算法参与资格分配,须共同责任加申诉机制。 同一工具、不同用途,责任结构不同。用途决定责任,而不是技术本身决定责任。
10 根源是测量反身性:指标一旦用于决策,被测量者就会生产指标。 降低风险的做法包括不公开具体权重、保留非标准路径、把算法与教员的差异作为讨论材料,而不是简单取其一。
17

十七、术语表

中英对照,共十三条。释义以本篇用法为准,不追求覆盖所有学科定义。
中文 英文 释义
自动化层级 Levels of Automation 描述系统在信息获取、分析、决策、执行中承担多少的连续谱,常用十级模型简化表述。
自动化偏见 Automation Bias 人倾向于接受自动化建议、忽略相反信息的倾向,在系统长期可靠时更强。
自动化不信任 Automation Distrust 因一次或多次系统错误而普遍拒绝自动化,甚至在不该手动时也坚持手动。
回路之外 Out-of-the-Loop 人长期不参与实际操作,接管时情境意识恢复缓慢、动作生疏的状态。
责任缺口 Responsibility Gap 系统行为由难以预测的软件决定时,传统「谁操作谁负责」找不到明确承担者的结构性空缺。
可解释性 Explainability 能否用人类可理解的方式说明结论如何产生;本篇区分结果、证据、反事实三个层次。
反事实解释 Counterfactual Explanation 说明「如果换一种做法,结果会怎样」,对学习与申诉最有价值。
算法公平性 Algorithmic Fairness 不同群体之间误差是否集中;有多种不能同时满足的数学定义,需先明确采用哪一种。
均等化几率 Equalized Odds 要求各群体的真阳性率与假阳性率相同,是公平性的一种准则。
用途漂移 Purpose Creep / Function Creep 为原定目的采集的数据,被逐步转用于新的目的,通常缺乏重新告知与审批。
数据最小化 Data Minimization 只采集实现目的所必需的数据,只保留必要时长,只向必要人员开放。
人工监督 Human Oversight 人具备时间、证据与否决权,能够实质改变系统结论;仅「点确认」不构成监督。
算法厌恶 Algorithm Aversion 人在目睹算法出错后,即使算法整体优于人,也会过度放弃使用算法。
18

十八、参考来源

自动化人因部分引用原始研究;法律与规章只写名称与原则,不引用未经核实的条款号。
  • Bainbridge, L. (1983). Ironies of automation. Automatica, 19(6), 775–779.
  • Parasuraman, R., Sheridan, T. B., & Wickens, C. D. (2000). A model for types and levels of human interaction with automation. IEEE Transactions on Systems, Man, and Cybernetics — Part A, 30(3), 286–297.
  • Sheridan, T. B., & Verplank, W. L. (1978). Human and Computer Control of Undersea Teleoperators. MIT Man-Machine Systems Laboratory.
  • Parasuraman, R., & Riley, V. (1997). Humans and automation: Use, misuse, disuse, abuse. Human Factors, 39(2), 230–253.
  • Parasuraman, R., & Manzey, D. (2010). Complacency and bias in human use of automation: An attentional integration. Human Factors, 52(3), 381–410.
  • Endsley, M. R., & Kiris, E. O. (1995). The out-of-the-loop performance problem and level of control in automation. Human Factors, 37(2), 381–394.
  • Sarter, N. B., & Woods, D. D. (1995). How in the world did we ever get into that mode? Mode error and awareness in supervisory control. Human Factors, 37(1), 5–19.
  • Matthias, A. (2004). The responsibility gap: Ascribing responsibility for the actions of learning automata. Ethics and Information Technology, 6(3), 175–183.
  • Barocas, S., & Selbst, A. D. (2016). Big data's disparate impact. California Law Review, 104, 671–732.
  • Dietvorst, B. J., Simmons, J. P., & Massey, C. (2015). Algorithm aversion: People erroneously avoid algorithms after seeing them err. Journal of Experimental Psychology: General, 144(1), 114–126.
  • ICAO. Doc 9868: Procedures for Air Navigation Services — Training (PANS-TRG)。用于胜任力为本训练(CBTA)的框架参考。
  • 《大型飞机公共航空运输承运人运行合格审定规则》(CCAR-121 部)。仅引用名称与机长最终责任原则,未引用具体条款号。
  • 《中华人民共和国个人信息保护法》。关于自动化决策的透明度与拒绝权,仅引用原则,未引用条款号。
  • Regulation (EU) 2024/1689(欧盟《人工智能法案》)。关于高风险 AI 系统与人工监督的要求,仅引用原则,未引用条款号。
  • EASA. Artificial Intelligence Roadmap 2.0(2023)。用于了解航空领域 AI 应用的监管思路。
  • Thibaut, J., & Walker, L. (1975). Procedural Justice: A Psychological Analysis. Lawrence Erlbaum.
  • Campbell, D. T. (1979). Assessing the impact of planned social change. Evaluation and Program Planning, 2(1), 67–90.
  • Hardt, M., Price, E., & Srebro, N. (2016). Equality of opportunity in supervised learning. Advances in Neural Information Processing Systems, 29.
  • 《中华人民共和国数据安全法》。仅引用名称与数据分类分级原则,未引用条款号。
  • 《生成式人工智能服务管理暂行办法》。仅引用名称与管理原则,未引用条款号。
说明:本文所有驾驶舱场景均为教学示例,不对应任何真实航班、事故或人员;关于法律与规章的内容仅作原则性介绍,具体适用应以现行有效文本及所在国民航管理当局的要求为准。