评分者一致性与信效度
评估体系最容易犯的错误,是先讨论"我们的评分准不准",却从没检查"同一份表现,两个人看会不会给出同一个结论"。 本文先把信度讲清楚:三类一致性指标各回答什么问题、各自有什么陷阱, 再谈效度、谈 CBTA 的教员校准、双评抽检与年度体检怎么落地。
一、为什么必须先谈信度,再谈效度
1.1 两个词的定义
信度(Reliability)
- 测量结果的一致性、稳定性、可重复性
- 换一个评分者、换一个时点、换一批等价题目,结果是否基本相同
- 本质问题:这份分数里,有多少是"真实差异",有多少是"噪声"
效度(Validity)
- 测量是否测到了想测的东西
- 分数能否支持预期的解释与决策(升级、放行、训练分流)
- 本质问题:这份分数代表的能力,与它声称代表的能力是否一致
两者是必要不充分关系:信度低,效度一定高不了——因为噪声会淹没真实差异; 但信度高,效度未必好——两个教员可能非常稳定地评错了同一个东西。
信度 ≈ 真实变异 / 观测变异 效度 = 分数能否支持预期解释与决策 信度处理"稳不稳",效度处理"对不对"。二者都缺一不可,但顺序不能颠倒。
1.2 两种误差:随机误差与系统偏差
把误差分成两类,是理解全部一致性指标的关键。它们的表现、危害与对策完全不同。
| 误差类型 | 典型来源 | 对信度的影响 | 对效度的影响 | 对策 |
|---|---|---|---|---|
| 随机误差 | 注意力波动、当天疲劳、观察片段不同、记忆偏差、打分时的心情。 | 直接压低稳定性:同一人两次评分不一致,同一段录像不同人打分不一致。 | 让分数在真值附近抖动,个体决策容易"忽上忽下"。 | 明确行为锚点、增加观察次数取平均、双评取均值、减少单次判断权重。 |
| 系统偏差 | 评分者整体偏严/偏宽、对某类学员的刻板印象、对某科目难度的固定预期、标准漂移。 | 不一定压低"一致性"(如果大家都偏严,排序仍一致),但一定压低"绝对一致"。 | 直接把分数整体拉偏,使合格线失去意义,形成"某人永远差一点"。 | 校准训练、锚点共识、双评抽检、监控评分者均值与分布、定期复训。 |
1.3 评分者漂移:纵向的一致性问题
绝大多数一致性讨论只处理"横向"问题——同一批表现,不同人评得是否一致。 但评估体系还有一个更隐蔽的问题:同一个人,随时间发生的尺度漂移。
- 标准松动:长期没有"不合格"案例,教员的心理基准慢慢上移,原本 3 分的表现被评成 4 分。
- 标准收紧:发生过一次事件后,全体教员趋于保守,同样表现被压低一级。
- 样本漂移:学员整体水平变化,教员不自觉地用"相对排名"代替"绝对标准"。
漂移不会被横向 kappa 或 ICC 发现,因为它对"当时这一批"是一致的。 要发现它,必须做纵向对比:同一段标准录像在不同年份重复评分、监控教员评分的均值与分布、定期做锚点复训。
1.4 为什么 CBTA 对这个问题格外敏感
CBTA(基于胜任力的训练与评估)评的是构念,不是物理量。 "情景意识""工作负荷管理""决策"这些胜任力,没有可以直接读出的仪表数值, 只能通过可观察行为推断。这带来三个后果:
- 观察即解释:同一个动作(例如复飞)可以被解释为"判断准确",也可以被解释为"胆怯保守",取决于评估者的框架。
- 锚点即标准:如果没有行为锚定,等级就退化为评估者的个人印象,尺度随人而变。
- 后果即决策:评估分数直接影响升级、放行、机型转换、机组搭配。用噪声做决策,比没有分数更危险。
二、三类指标总览与选择
| 指标 | 适用数据 | 评分者结构 | 回答的问题 | 不回答的问题 |
|---|---|---|---|---|
| Cohen's κ | 名义类别(合格/不合格、通过/不通过) | 两位评分者,评同一批对象 | 扣除"碰巧一致"之后,一致性还剩多少? | 不适用于连续分数;不告诉你差在哪个类别;对类别分布极敏感。 |
| Fleiss' κ | 名义类别 | 多位评分者;每个对象被相同数量的评分者评 | 多位评分者整体的一致性如何? | 不能处理评分者数量不等或有缺失;同样受分布影响。 |
| 加权 κ | 有序等级(1–5 分) | 两位或多位(需相应扩展) | 接近的等级算"部分一致"时,一致性如何? | 权重方案(线性/二次)会改变结果,必须事先声明。 |
| ICC | 连续评分(总分、百分制、时间、距离) | 单向或双向;随机或混合 | 评分者之间的差异,占观测差异的多大比例? | 不指出偏差方向;对样本异质性与分布敏感;模型选错会误导。 |
| Bland–Altman | 连续评分(两次测量、两位评分者) | 配对测量 | 两次评分平均差多少?差值的 95% 范围有多宽? | 不给出单一可靠性系数;不适用于名义类别;小样本时界限本身很不稳。 |
| Krippendorff's α | 名义、有序、区间、比率均可 | 任意数量评分者,允许缺失 | 在数据不整齐时,一致性如何? | 计算与解释门槛较高;不同 α 变体的假设需说明。 |
2.1 四步选择路径
先看数据类型
合格/不合格、通过/未通过 → 名义;1–5 级 → 有序;总分、时间、距离 → 连续。数据类型决定候选指标的范围。
再看评分者结构
两位、固定一批评分者、每人评所有对象 → Cohen / ICC(2,1) / ICC(3,1);不同评分者评不同对象 → ICC(1,1);多评分者且有缺失 → Krippendorff's α。
再问关心什么
只关心排序是否一致 → consistency;关心"换个人评会不会给出同一等级" → absolute agreement。运行决策通常需要后者。
最后看偏差
补一个 Bland–Altman:确认是否存在整体偏严/偏宽,以及差值的实际量级是否落在运行可接受范围。
三、Kappa:名义变量与机会一致
3.1 为什么需要"机会一致"校正
假设两位教员评 100 名学员,只有"合格/不合格"两类。如果 95 人都合格, 即使两位教员完全不看表现、只凭印象随手划勾,也会有很高比例的一致——因为大家都倾向勾"合格"。
百分比一致率(agreement rate)把这种"运气"算成了"一致性"。 Kappa 的做法是:先根据双方各自的类别分布,算出"如果纯靠碰巧,应该一致多少", 再把这部分从实际一致率里扣掉。
3.2 计算口径
Po = 实际一致的比例
Pe = 按双方类别分布计算的期望一致比例 = Σ (pi· × p·i) pi· 为评分者 A 判为第 i 类的比例,p·i 为评分者 B 判为第 i 类的比例。κ = 1 表示完全一致;κ = 0 表示与"碰巧一致"相同;κ 可为负,表示比碰巧还差。
P̄ = 每个对象上"一致配对"占该对象全部配对的比例,再对所有对象取平均
P̄e = Σ pi2(pi 为全部评分中判为第 i 类的比例) Fleiss' kappa 允许不同的人组成评分组,但要求每个对象被相同数量的评分者评。数量不等或有缺失时,应改用 Krippendorff's α。
线性权重:vij = |i − j| / (k − 1)
二次权重:vij = ((i − j) / (k − 1))2 vij 是不一致权重,对角线上 v = 0,差得越远权重越大。 Oij 为观测到的 i/j 交叉频数,Eij 为期望频数,k 为类别数。 等价写法是使用一致权重 wij = 1 − vij,公式变为 (ΣwO − ΣwE)/(1 − ΣwE)——两种写法结果相同,但不能把一致权重代入"1 − ΣwO/ΣwE",否则对角项会被重复计算。 二次权重对"差两级"惩罚更重,且与 ICC 在有序数据上的数值较为接近,但两者的假设与解释仍不同。
3.3 Kappa 悖论:高一致,低 kappa
这是 kappa 最著名、也最常被误读的现象。Feinstein 与 Cicchetti 在 1990 年系统描述了它: 当某一类别在样本中占绝对多数时,kappa 会被严重压缩,即使原始一致率很高。
情形 A:高合格率样本。 100 名学员中,两位评分者各自判 90 人合格、10 人不合格。 交叉表为:合格/合格 85 人,合格/不合格 5 人,不合格/合格 5 人,不合格/不合格 5 人。
Po = 90/100 = 0.90;Pe = 0.90×0.90 + 0.10×0.10 = 0.82;κ = (0.90 − 0.82)/(1 − 0.82) = 0.44
情形 B:合格率均衡样本。 同一组一致率 90%,但样本中合格与不合格各占一半: 合格/合格 45 人,合格/不合格 5 人,不合格/合格 5 人,不合格/不合格 45 人。
Po = 0.90;Pe = 0.50×0.50 + 0.50×0.50 = 0.50;κ = (0.90 − 0.50)/(1 − 0.50) = 0.80
悖论有两个主要来源,Feinstein 与 Cicchetti 将其区分为" prevalence(边缘分布)"与" bias(评分者偏差)":
- 边缘分布不均(prevalence): 某一类别占绝大多数,Pe 很高,(1 − Pe) 很小,kappa 的分母被压缩,任何不一致都会被放大。
- 评分者偏差(bias): 两位评分者的"严宽"不同,一方判 20 人不合格、另一方只判 10 人,即使排序相近,kappa 也会下降。
常见的补救指标包括 PABAK(prevalence-adjusted bias-adjusted kappa,Byrt 等,1993) 与 Gwet 的 AC1(2008)。它们能缓解悖论,但同样有自己的假设与局限, 只能作为补充报告,不能替代原始一致率、Pe 与 kappa 的完整呈现。
3.4 怎么解读 kappa
Landis 与 Koch(1977)给出的经验分级被引用得最多: 0.81–1.00 几乎完全一致,0.61–0.80 高度一致,0.41–0.60 中等,0.21–0.40 一般,0.00–0.20 轻微,负值为差于碰巧。
报告 kappa 时,至少同时给出:Po、Pe、kappa、置信区间、样本量与类别分布。 只写"一致率 92%"或只写"kappa = 0.6",都不足以支持任何结论。
3.5 局限清单
- 只处理离散类别,不适合总分、时间等连续评分。
- 对类别分布高度敏感,高合格率场景下数值会被系统性压低。
- 不指出"错在哪个类别",无法定位具体评分行为。
- 名义 kappa 忽略等级之间的距离;有序数据必须用加权版本。
- Fleiss' kappa 要求每个对象评分者数量相同;缺失数据需换 α。
- 小样本时置信区间可能极宽,"0.6"的真实含义可能从"勉强"到"很好"。
四、ICC:连续评分与方差分解
4.1 基本思路:一个比值
越接近 1 → 分数主要由真实差异决定,可靠性越高
越接近 0 → 分数主要由误差决定,区分能力越弱 具体计算通常用方差分析:把总变异分解为"对象间""评分者间""残差"三部分,不同 ICC 模型只是对"误差"的定义不同。
这个比值有一个重要特性:它依赖样本的异质性。如果一批学员水平都很接近(比如都是成熟机长), 对象之间的真实差异很小,ICC 会被压低;如果样本里既有初学者又有老手,排序容易稳定,ICC 会偏高。 所以"ICC = 0.9"必须连同"样本是什么"一起解释。
4.2 模型怎么选:Shrout & Fleiss 的三类模型
1979 年 Shrout 与 Fleiss 把 ICC 整理成三类模型,1996 年 McGraw 与 Wong 进一步给出六种具体形式 (每个模型各有"单次"与"平均"两个版本)。选择模型取决于两个问题: 评分者是不是同一批?评分者能不能代表更大的评分者总体?
| 模型 | 评分者结构 | 能否推广到其他评分者 | 一致性类型 | 典型场景 |
|---|---|---|---|---|
| ICC(1,1) 单向随机 |
每个对象由不同的评分者评;评分者身份不可识别(可交换)。 | 不能。评分者不被视为某个总体的样本。 | 绝对一致 | 每个学员由不同教员评,只想描述"这批评估的可靠性"。 |
| ICC(2,1) 双向随机 |
同一批评分者评所有对象;这批评分者被视为更大教员总体的随机样本。 | 可以。结论可推广到其他同类教员。 | 绝对一致 | 抽 5 位教员评同一批学员,想推断"整个教员队伍的评分可靠性"。 |
| ICC(3,1) 双向混合 |
同一批评分者评所有对象;他们就是唯一关心的评分者。 | 不能。评分者被视为固定。 | 一致性 | 只关心这 3 位核心教员的评分是否稳定,不打算推广。 |
| ICC(2,k) 双向随机平均 |
同上,但使用 k 位评分者的平均分。 | 可以。 | 绝对一致 | 最终成绩取两位教员平均分,评估"平均分"的可靠性。 |
4.3 绝对一致(absolute agreement)与一致性(consistency)
绝对一致
- 把评分者之间的均值差异也算作误差
- 问的是:换一个教员,会不会给出同一个分数
- 适合终结性判定、合格线、跨教员可比的场景
- 通常数值更低,但更贴近运行现实
一致性
- 只忽略评分者之间的整体水平差异,仍保留排序信息
- 问的是:两位教员的排序是否一致
- 适合研究、排序、相关性分析
- 数值更高,但不能用于"是否合格"的绝对判断
举例:教员 A 普遍比教员 B 严 1 分,但两人对每个学员的相对排序完全一致。 此时 consistency 接近 1,absolute agreement 明显较低。对于"谁该进入下一阶段"的排序决策, 前者够用;对于"某人是否达到 3 分"的合格判定,必须看后者。
4.4 单次与平均:报告时必须写清
ICC(2,1) 的 "1" 表示单次测量的可靠性,ICC(2,k) 的 "k" 表示k 次平均的可靠性。 同一个数据集,平均分会比单次更可靠,这是 Spearman–Brown 公式描述的关系:
4.5 把 ICC 翻译成运行语言:SEM 与 MDC
ICC 是一个 0–1 的比例,教员和管理者不容易直接使用。更有用的两个派生量是 测量标准误(SEM)与最小可检测变化(MDC):
MDC95 = 1.96 × √2 × SEM ≈ 2.77 × SEM SD 为观测分数的标准差。SEM 表示"单个分数的典型误差量";MDC95 表示"在 95% 置信水平下,能被认定为真实变化的最小分数差"。
假设某科目总分标准差 SD = 10 分,ICC = 0.85。则 SEM = 10 × √(1 − 0.85) ≈ 3.9 分, MDC95 ≈ 2.77 × 3.9 ≈ 10.7 分。
这意味着:同一名学员两次评估相差 5 分,很可能只是噪声;只有当分差超过约 11 分时, 才能较有把握地说"能力真的变了"。如果训练大纲规定"提高 5 分即可进入下一阶段", 这个规定在当前信度水平下是无法被可靠检验的。
4.6 ICC 的局限
- 不指出偏差方向: ICC 只告诉你"差异有多大比例来自误差",不告诉你谁偏严、谁偏宽。
- 依赖样本异质性: 样本太同质会压低 ICC,太异质会虚高,跨样本比较必须谨慎。
- 对异常值敏感: 个别极端分数会明显改变方差结构。
- 模型假设多: 单向/双向、随机/混合、单次/平均,任一选择都会改变数值与解释。
- 小样本置信区间极宽: 只有点估计没有区间,基本不能用于判断。
4.7 几何直觉:方差分解为什么能变成一个比值
ICC 的公式看起来抽象,其实它做的是一个长度比例的运算。理解这一点,比记住公式更有用。 设想把每个学员的评分画成一根线段的长度;所有学员的评分放在一起,就形成一组长度不同的线段。 这组线段的总"离散程度",可以用每个线段与平均长度之差的平方和来度量——这就是总平方和(SStotal)。
把平方和除以自由度得到均方(MS),再代回期望值公式,就得到各成分的方差估计。 ICC 本质上是:对象间方差 ÷ (对象间方差 + 误差方差)。 由于它是"某一段长度平方"占"总长度平方"的比例,所以它的取值范围天然被限制在 0 到 1 之间。
五、Bland–Altman:两次评分到底差多少
5.1 它回答什么问题
它不回答
- 两次评分"相关"有多高——相关可以很高,差值也可以很大
- 哪一位评分者"更正确"——除非另有金标准
- 一致性系数是多少——它不产出单一系数
它回答
- 两次评分的平均差是多少(谁整体偏严/偏宽)
- 95% 的差值落在什么范围内(一致性界限)
- 差值是否随分数水平变化(比例偏差)
- 有没有明显离群的对象需要单独看
5.2 做法与读法
Bland 与 Altman 在 1986 年发表于《The Lancet》的方法,核心是一张散点图: 横轴为两次评分的均值,纵轴为两次评分的差值。
SDdiff = 差值的标准差
一致性界限(LoA)= d̄ ± 1.96 × SDdiff 若差值近似正态分布,约 95% 的差值会落在这两条界限之间。界限的宽度反映"两次评分能差多少",这是运行最需要的信息。
两位教员评同一批学员,总分 100 分制。计算得平均差 d̄ = +1.2 分,差值标准差 SDdiff = 4.0 分。 则 LoA = 1.2 ± 1.96×4.0,约为 −6.6 分到 +9.0 分。
如果运行标准规定"两位教员总分差不应超过 5 分",那么这套评估不满足要求: 虽然平均差很小、ICC 可能也不低,但个别学员的实际差异可以接近 9 分,足以改变合格判定。
5.3 比例偏差:差值不是常数
如果散点呈"喇叭形"——低分区间差值小、高分区间差值大(或相反),说明差值随分数水平变化, 这叫比例偏差。此时单一的平均差与固定的 LoA 会产生误导。
- 识别: 对差值关于均值做回归,看斜率是否显著偏离 0;或直接观察散点形状。
- 处理: 对分数取对数后重做分析;或按分数区间分段报告 LoA;或在评分表里对高分段的锚点做专门校准。
- 运行含义: 比例偏差往往说明"高分段锚点写得不够具体",教员在 4 分与 5 分之间缺少可共享的判断依据。
Bland 与 Altman 在 1999 年的方法综述中专门讨论了比例偏差与重复测量问题,这两点是实际应用中最常被跳过的。
5.4 重复测量与离群点
同一名学员被多次评估时,不能把每次评估都当成独立观测点丢进同一张图。这样做会人为缩小差值分布, 让一致性看起来比实际更好。正确做法是先按学员聚合(取平均或取代表值), 或使用针对重复测量的 Bland–Altman 变体。
离群点也不要直接删除。一个差值高达 20 分的个案,往往正是最有价值的校准材料: 它通常对应"两位教员对某条行为锚点的理解完全不同",而不是"随机误差"。 先看录像、再谈统计,顺序不能反。
5.5 局限
- 不产出单一可靠性系数,不便进入年度指标看板。
- LoA 依赖差值近似正态的假设;分布偏斜时界限含义会变。
- 小样本时 LoA 本身的置信区间很宽,不宜直接当运行边界。
- 不适用于名义类别(合格/不合格);此类数据应回到 kappa。
- 只能比较两次(或两组);多评分者同时比较需要其他方法。
六、完整算例:一份评分矩阵,从头算到 LoA
6.1 数据:两位教员、10 名学员、1–5 级
设定:某科目终结性评估,教员甲与教员乙独立对同一批 10 名学员打分(1–5 级), 评分前未讨论,评分后才知道对方给了多少。运行规则:3 分及以上为合格。 原始矩阵如下(这是教学示例,不是真实评估数据)。
| 学员 | 教员甲 | 教员乙 | 甲判合格 | 乙判合格 | 差值(甲−乙) | 均值 |
|---|---|---|---|---|---|---|
| S1 | 4 | 4 | 是 | 是 | 0 | 4.0 |
| S2 | 3 | 4 | 是 | 是 | −1 | 3.5 |
| S3 | 5 | 5 | 是 | 是 | 0 | 5.0 |
| S4 | 2 | 2 | 否 | 否 | 0 | 2.0 |
| S5 | 4 | 3 | 是 | 是 | +1 | 3.5 |
| S6 | 3 | 4 | 是 | 是 | −1 | 3.5 |
| S7 | 5 | 5 | 是 | 是 | 0 | 5.0 |
| S8 | 4 | 4 | 是 | 是 | 0 | 4.0 |
| S9 | 2 | 3 | 否 | 是 | −1 | 2.5 |
| S10 | 3 | 3 | 是 | 是 | 0 | 3.0 |
6.2 第一步:名义 kappa(合格 / 不合格)
Po = 9 / 10 = 0.90(10 人中 9 人判定一致)
甲判合格比例 p甲 = 8/10 = 0.80;乙判合格比例 p乙 = 9/10 = 0.90
Pe = 0.80×0.90 + 0.20×0.10 = 0.72 + 0.02 = 0.74
κ = (0.90 − 0.74) / (1 − 0.74) = 0.16 / 0.26 = 0.615 ≈ 0.62
6.3 第二步:加权 kappa(保留 1–5 级的距离)
名义 kappa 把"2 对 3"和"2 对 5"当成同样的不一致。要保留等级信息,需要先做 5×5 交叉表。 行是甲的分数,列是乙的分数:
| 甲 \ 乙 | 1 | 2 | 3 | 4 | 5 | 行合计 |
|---|---|---|---|---|---|---|
| 1 | 0 | 0 | 0 | 0 | 0 | 0 |
| 2 | 0 | 1 | 1 | 0 | 0 | 2 |
| 3 | 0 | 0 | 1 | 2 | 0 | 3 |
| 4 | 0 | 0 | 1 | 2 | 0 | 3 |
| 5 | 0 | 0 | 0 | 0 | 2 | 2 |
| 列合计 | 0 | 1 | 3 | 4 | 2 | 10 |
期望频数 Eij = 行合计 × 列合计 ÷ 10。例如 E3,4 = 3×4/10 = 1.2。 二次不一致权重 vij = ((i−j)/4)2:差 1 级 = 0.0625,差 2 级 = 0.25,差 3 级 = 0.5625。
观测不一致量 ΣvO:
S2(3→4,差 1 级)×0.0625 + S5(4→3,差 1 级)×0.0625 + S6(3→4,差 1 级)×0.0625 + S9(2→3,差 1 级)×0.0625 = 4 × 0.0625 = 0.25
期望不一致量 ΣvE(按 E 表逐格乘 v 再相加)= 1.1875
κw = 1 − 0.25 / 1.1875 = 1 − 0.2105 = 0.789 ≈ 0.79
6.4 第三步:ICC(2,1) 与 ICC(2,2),用方差分解算
把两位教员的分数看作"每名学员有两个观测",做双向随机方差分解。总平方和 SST = 18.8, 拆成三块:
| 变异来源 | 平方和 | 自由度 | 均方 | 说明 |
|---|---|---|---|---|
| 学员之间(对象间) | 16.8 | 9 | 1.867 | 真实水平差异,是 ICC 的"信号"。 |
| 教员之间(评分者间) | 0.2 | 1 | 0.200 | 整体严宽差异。本例两人平均分只差 0.1,几乎为零。 |
| 残差(交互与误差) | 1.8 | 9 | 0.200 | 同一学员身上两位教员不一致的部分。 |
| 合计 | 18.8 | 19 | — | 16.8 + 0.2 + 1.8 = 18.8,平方和可加。 |
ICC(2,1) 绝对一致 = (MSB − MSE) / [MSB + (k−1)·MSE + (k/n)·(MSR − MSE)]
= (1.867 − 0.200) / [1.867 + 0.200 + (2/10)×(0.200 − 0.200)]
= 1.667 / 2.067 = 0.806 ≈ 0.81
ICC(2,2) 平均 = (MSB − MSE) / [MSB + (MSR − MSE)/k]
= 1.667 / [1.867 + 0] = 0.893 ≈ 0.89
用 Spearman–Brown 复核:2×0.806 / (1 + 1×0.806) = 1.613 / 1.806 = 0.893 ✓
6.5 第四步:把 ICC 翻译成分数——SEM 与 MDC
观测分数标准差 SD = 0.995(10 名学员、20 个评分的总体标准差)
SEM = SD × √(1 − ICC) = 0.995 × √(1 − 0.806) = 0.995 × 0.440 = 0.438
MDC95 = 1.96 × √2 × SEM = 2.772 × 0.438 = 1.21
6.6 第五步:Bland–Altman,差值到底多大
10 个差值:0, −1, 0, 0, +1, −1, 0, 0, −1, 0
d̄ = −0.20(甲平均比乙低 0.2 分,方向很弱)
SDdiff = 0.632(样本标准差,除以 n−1)
LoA = −0.20 ± 1.96 × 0.632 = −0.20 ± 1.24,即 −1.44 到 +1.04
平均差的 95% 置信区间:−0.20 ± 2.262 × (0.632/√10) = −0.20 ± 0.45,即 −0.65 到 +0.25
LoA 自己也有不确定性。Bland 与 Altman 给出的近似标准误为:
6.7 五个数字拼成一句话
| 指标 | 结果 | 它回答的问题 | 它不能回答的问题 |
|---|---|---|---|
| 名义 κ | 0.62 | 合格判定扣除机会一致后还剩多少 | 差在哪个等级、差多少分 |
| 二次加权 κ | 0.79 | 保留等级距离后的一致性 | 绝对分数是否可互换 |
| ICC(2,1) / (2,2) | 0.81 / 0.89 | 分数里多少是真实差异 | 是否评对了构念 |
| SEM / MDC95 | 0.44 / 1.21 | 单个分数误差多大、多大变化才算真变 | 误差的方向与来源 |
| LoA | −1.44 ~ +1.04 | 两位教员实际能差多少分 | 谁对谁错、可否接受 |
一份合格报告应当能连成这样一段话: "本次双评 10 例,合格判定 κ = 0.62;1–5 级二次加权 κ = 0.79;ICC(2,1) = 0.81(单次)、(2,2) = 0.89(平均); 单个分数误差约 0.44 分,可检测的最小真实变化约 1.2 分;两位教员差值 95% 落在 −1.44 到 +1.04 分之间。 样本仅 10 例,以上仅作算法演示,区间估计不足以支撑运行结论。"
6.8 失败层:这个算例不能证明什么
| 容易被误读成 | 实际上不能成立的原因 | 正确说法 |
|---|---|---|
| "我们的评估可靠性是 0.81" | 样本只有 10 人,且是刻意选的整齐样本,区间极宽。 | "在这 10 例上,单次 ICC 的估计是 0.81;不能外推到全队。" |
| "加权 κ 0.79,说明评分很准" | 一致性只说明"两位教员像",不说明"像的是对的方向"。 | "评分者间一致性较好;效度仍需独立证据。" |
| "LoA 上限 1.04,所以最多差 1 分" | LoA 是样本估计,且 n=10 时界限本身有 ±0.78 量级的不确定性。 | "在本样本中,约 95% 的差值落在该区间;界限的置信区间更宽。" |
| "MDC 1.21,所以 1 分进步没有意义" | MDC 针对单个分数;多次评估取平均会降低误差。 | "单次评估无法分辨 1 分变化;若用多次平均,需重算 MDC。" |
七、样本量与置信区间:为什么"0.81"不是一个答案
7.1 机制层:为什么一定会有波动
评估可靠性研究的样本,是从"所有可能的学员与教员组合"里抽出的一小部分。 换一批学员、换一天、换一组教员,指标就会变。这种波动不是错误,而是抽样本身的属性。 统计学用标准误(SE)来度量它,而 SE 与样本量的关系是一个平方根关系:
更麻烦的是:一致性指标的 SE 不只取决于 n,还取决于一致率本身与类别分布。 当 Pe 接近 1(大家几乎都判同一类)时,分母 1 − Pe 很小,同样的 n 会给出大得多的 SE。 越是"看起来一致"的数据,kappa 的估计越不稳定。
7.2 证据层:n 与 k 不是一回事
在评分者一致性研究中,有两个"样本量":
- n(对象数):被评的学员、病例、航段数量。它决定指标估计本身的精度。
- k(评分者数):每位对象被几个人评。它决定测量误差能被平均掉多少。
两者不能互相替代。增加 k 会提高"平均分数的可靠性"(Spearman–Brown), 但不会让"这套评分系统本身的 ICC 估计"变得更精确——后者仍然取决于 n。 实践中常见一种错误:只增加评分人数、不增加被评对象数,然后宣称"可靠性提高了"。
7.3 操作层:三类指标的样本量怎么估
① kappa:用近似 SE 做粗规划
② ICC:区间由 F 分布构造,工程上用 bootstrap
ICC 的置信区间基于均方比值服从 F 分布这一事实构造(Shrout & Fleiss, 1979;McGraw & Wong, 1996)。 不需要手算公式,但必须理解它的两个性质:区间不对称(靠近 1 时上侧被截断), 且宽度随 n 增大而收窄、随 k 增大变化很小。 如果样本量小,用 bootstrap 重抽样通常比正态近似更稳。
③ LoA:可以直接算出需要多少人
Bland–Altman 的界限标准误为 SE ≈ √(3·SDdiff2/n)。若要求界限的 95% 置信区间半宽不超过 h,则:
7.4 报告模板:把区间写进去
| 项目 | 必须写 | 常见缺失 |
|---|---|---|
| 样本结构 | 对象数 n、评分者数 k、评分者与被评对象的交叉方式(完全交叉/嵌套) | 只写"共评估若干人次",看不出设计。 |
| 点估计 | κ / ICC 的数值 + 所用模型(如 ICC(2,1))+ 权重方案 | 只写"一致性良好",无数值无模型。 |
| 区间 | 95% 置信区间,注明方法(F 分布 / bootstrap / 近似) | 完全没有区间。 |
| 误差翻译 | SEM、MDC95,以及它们在评分量尺上的含义 | 只给 ICC,读者无法判断"1 分差意味着什么"。 |
| 限制 | 样本代表性、范围限制、是否用于高风险决策 | 把探索性结果写成制度结论。 |
7.5 失败层:样本量不足的三种表现
| 表现 | 现场说法 | 后果 |
|---|---|---|
| 区间宽到无法决策 | "ICC 是 0.81,但区间 0.45–0.95。" | 看上去有结论,实际无法判断是否达标;制度只能靠感觉执行。 |
| 分组排名 | "A 教员 0.78,B 教员 0.74,A 更好。" | n 很小时,0.04 的差几乎全是噪声,却直接进入人事评价。 |
| 年度比较 | "今年比去年提高了 0.05。" | 样本构成变化(机型、学员批次)足以造成这个差,改进被误判。 |
八、评分者漂移:标准是哪一天开始变的
8.1 机制层:漂移的三种形态
平均分缓慢上移
常见于长期带飞的教员:与学员熟悉、投入情感、希望对方通过。个体内部标准不变,但"通过的门槛"在移动。
- 信号:均值上升,标准差下降。
- 危险:所有人都"进步了",实际能力没变。
平均分下移,低分增多
常见于刚经历过事件、刚接受过强化培训、或刚被上级要求"从严"的教员。
- 信号:均值下降,低分比例上升。
- 危险:学员被误判为不合格,训练资源被错配。
某个能力项的标准单独移动
整体分数稳定,但某一项(如"工作负荷管理")突然变严或变松。最难发现,也最影响构念效度。
- 信号:分项均值变化,总分不变。
- 危险:评估在悄悄改变"什么算好飞行员"。
一部分人漂移,另一部分没漂
横截面 ICC 下降,但找不到"谁错了"——因为大家用的尺子不同,且都在自己的尺子上很稳定。
- 信号:ICC 逐年下降,LoA 变宽。
- 危险:误判为"评分者能力不行",实为缺少校准。
8.2 证据层:纵向设计比指标更重要
检测漂移的关键不是统计方法,而是有没有可重复的锚。三种常用设计:
| 设计 | 做法 | 优点 | 局限 |
|---|---|---|---|
| 固定锚件 | 同一段标准录像/同一份病例,每季度让所有评分者重评一次。 | 直接测量"尺子"本身;不依赖学员变化。 | 记忆效应;反复看同一段会产生"标准答案"。 |
| 交叉重评 | 随机抽取历史评估的录像,由另一位评分者盲评,与原始分数比对。 | 贴近真实工作样本;可同时算 ICC 与 LoA。 | 需要录像与权限;抽样量往往不足。 |
| 重复评分 | 同一评分者在不同时间对同一对象重评(间隔足够长,避免记忆)。 | 直接估计评分者内部稳定性(intra-rater)。 | 暴露度高,评分者可能抵触;间隔难控制。 |
8.3 操作层:四种检测方法
方法一:锚件偏离表(最实用)
每季度让全部评分者对 3–5 个固定锚件打分,计算每人相对"锚件基准分"的偏离。 偏离本身不判对错,只用于触发校准对话。
| 评分者 | Q1 偏离 | Q2 偏离 | Q3 偏离 | 趋势 | 动作 |
|---|---|---|---|---|---|
| 教员 A | 0.0 | +0.1 | +0.2 | 稳定 | 无 |
| 教员 B | +0.2 | +0.6 | +1.0 | 持续宽松化 | 一对一校准;检查是否与带飞关系过近 |
| 教员 C | −0.1 | −0.5 | −0.4 | 先严后稳 | 观察一个周期,暂不干预 |
| 教员 D | 0.0 | +0.1 | −1.2 | 突跳 | 优先排查:近期事件、健康、人际冲突 |
方法二:均值—标准差控制图
按月或按批次统计某位评分者的平均分与标准差。平均分单向连续移动,或标准差持续收窄("不敢给低分"), 都是漂移的早期信号。不需要复杂统计,只要有连续的时间序列即可。
方法三:累积和(CUSUM)
CUSUM 擅长检测"小幅但持续"的偏移,比单点比较灵敏。把每批次平均分与目标值的偏差累加, 当累积偏离超过预设界限时报警。它的价值在于早——单次偏差看不出来,累积能看出来。
方法四:分项差异功能分析(概念层)
心理测量学中的 DIF(differential item functioning)用于检测"某个题目对不同群体难度不同"。 移植到评估场景,可以检查同一能力项是否对某类学员系统性偏严或偏松(differential rater functioning)。 这类分析需要较大样本,本文只作概念提示,不作为常规工具推荐。
8.4 判定规则与调查动作
| 观察到的现象 | 先排除什么 | 再做什么 |
|---|---|---|
| 全员平均分整体上移 | 学员批次是否真的更强(入学标准、机型、训练时长) | 若批次无差异,做锚件重评;查评分表是否改版、锚点描述是否被重写。 |
| 个别评分者持续偏离 | 是否承担了特殊人群(如补考学员、外籍学员) | 一对一校准;必要时调整搭配,而不是直接改评价结论。 |
| ICC 逐年下降 | 样本是否变得更同质(范围限制会压低 ICC) | 检查 LoA 是否同时变宽;若是,优先做集中校准而非个体问责。 |
| 某一分项均值突变 | 该分项的锚点文字是否最近被修改 | 回溯改版记录;对旧评估做追溯重评抽样,评估影响范围。 |
8.5 失败层:把漂移误判成"人变了"
九、多评分者与缺失数据:当设计不再整齐
9.1 机制层:先看清数据是怎么长出来的
| 设计 | 结构 | 例子 | 可用的统计量 |
|---|---|---|---|
| 完全交叉 | 每位评分者评每一位对象。 | 两名教员评同一批 20 名学员。 | Cohen's κ(2 人)、Fleiss' κ(多人)、ICC(2,1)/(2,k)。 |
| 部分交叉 | 评分者与对象有重叠但不完整。 | 三名教员各评一部分,有交叉但不全。 | Krippendorff's α;或按配对分别算 κ 再汇总(需谨慎)。 |
| 嵌套 | 对象嵌套在评分者内,不同评分者评不同人。 | 不同基地的教员各评本基地学员。 | 不能直接算评分者间一致性;需多水平模型或先做共同锚件。 |
| 重复测量 | 同一评分者对同一对象评两次。 | 同一段录像隔月重评。 | 评分者内部一致性(intra-rater);ICC(3,1) 或配对比较。 |
9.2 证据层:每个统计量都有设计前提
- Cohen's κ:恰好两位评分者,且完全交叉、类别相同。
- Fleiss' κ:多位评分者,每个对象被相同数量的人评(人数可以不同对象之间不同,但同一对象内必须齐)。类别为名义。
- Krippendorff's α:允许缺失、允许不同对象被不同数量的人评、支持多种测量层次(名义/有序/区间)。代价是计算与解释更复杂。
- Gwet 的 AC1 / AC2:针对 kappa 悖论提出的替代指标,在类别分布高度偏斜时更稳定;AC1 用于名义,AC2 用于有序。
- ICC:需要方差分解;缺失会使某些模型不可识别,或用混合效应模型估计。
9.3 操作层:缺失怎么处理
先判断缺失的机制,再决定方法。这一步错了,后面所有计算都白做。
| 机制 | 含义 | 例子 | 处理 |
|---|---|---|---|
| 完全随机缺失 MCAR |
缺失与任何变量无关。 | 录像设备随机故障。 | 完整案例分析通常无偏,但浪费数据。 |
| 随机缺失 MAR |
缺失与已观测变量有关,与未观测值无关。 | 外籍学员因语言问题更常缺某项评估。 | 可用多重插补或混合模型;需记录相关变量。 |
| 非随机缺失 MNAR |
缺失与未观测值本身有关。 | 表现差的学员更容易缺考或不被安排复评。 | 任何插补都会引入偏差;必须做敏感性分析并报告。 |
多评分者的三个操作要点
9.4 指标选择决策表
| 你的数据 | 类别型 | 有序等级 | 连续分数 |
|---|---|---|---|
| 2 人、完全交叉、无缺失 | Cohen's κ | 加权 κ(线性/二次) | ICC(2,1) 或 Bland–Altman |
| 多人、完全交叉、无缺失 | Fleiss' κ | 加权 κ 的多人扩展,或 ICC | ICC(2,1)/(2,k) |
| 有缺失 / 部分交叉 | Krippendorff's α | Krippendorff's α(有序) | 混合效应模型 / ICC |
| 类别高度偏斜 | Gwet AC1(并同时报 κ) | Gwet AC2 | ICC 受范围限制影响,需说明分布 |
| 同一人重复评 | 配对 κ | 加权 κ + 配对比较 | ICC(3,1);Bland–Altman |
9.5 失败层:设计缺陷如何伪装成统计问题
| 表面现象 | 真实原因 | 正确补救 |
|---|---|---|
| "ICC 算不出来" | 不同学员被不同评分者评,矩阵不满秩。 | 改用允许缺失的模型(混合效应、Krippendorff α),或补做共同锚件。 |
| "一致性只有 0.4,评分者水平不行" | 评分者被嵌套在不同基地,评的是不同人群。 | 先做分层分析或共同锚件校正;不要直接横向比较。 |
| "样本量不够" | 缺失集中在某类学员,有效样本远小于名义样本。 | 报告有效样本与缺失机制;必要时延长采集期。 |
| "今年 ICC 突然变高" | 低分学员大量缺席,分数分布被压缩成高分区间。 | 检查缺失模式;高 ICC 可能是样本被筛过的结果。 |
十、六个常见误区
用 Pearson 相关代替一致性
相关系数只描述"线性相关的强度",对系统性偏差完全不敏感。 教员 A 给每人比教员 B 高 10 分,r 仍然可以接近 1.0。
- r 高 ≠ 分数相同
- r 还依赖样本异质性:样本里既有 2 分也有 5 分,r 自然高
- 正确做法:ICC(绝对一致)+ Bland–Altman 差值
用百分比一致率掩盖机会一致
"我们一致率 92%"听上去很好,但如果 95% 的学员都合格,纯靠猜也能达到很高的一致率。
- 必须同时报告 Po、Pe、kappa
- 必须报告类别分布
- 高合格率场景下,低 kappa 不等于评估差
把 ICC 高当成效度好
ICC 只说明"排序稳定",不说明"评的是对的东西"。两位教员可以非常稳定地一起评错: 都只看"态度好不好",都不看"决策质量"。
- 信度是效度的必要条件,不是充分条件
- 还要看内容效度:行为指标是否覆盖构念
- 还要看后果效度:分数是否预测训练与运行表现
样本量过小,只看点估计
用 5 个案例算出 kappa = 0.6 或 ICC = 0.8,然后写进年度报告。 这个点估计的置信区间可能宽到从"不可接受"一直覆盖到"优秀"。
- 任何一致性指标都必须带置信区间
- 样本同质会压低 ICC,样本异质会虚高
- 先定"可接受的区间宽度",再决定抽多少
对有序等级用名义 kappa
1–5 级胜任力评分是有序的,"差一级"和"差四级"的意义完全不同。 名义 kappa 把它们当成同样的不一致,等于丢掉了等级信息。
- 应使用加权 kappa
- 权重方案(线性/二次)必须事先声明
- 二次权重惩罚更重,数值通常更低
把 Fleiss' kappa 用在不等评分者数量上
Fleiss' kappa 要求每个对象被相同数量的评分者评。 现实中常有"某人被 3 位教员评、另一人被 2 位教员评"的情况,直接套用会得到无法解释的结果。
- 评分者数量不等 → Krippendorff's α
- 缺失数据同样应换 α 或明确插补规则
- 不要为了"能算"而删掉不整齐的数据
10.1 一个正确的报告模板
评估一致性报告应包含的七项
- 数据与样本:评了多少人、多少份评分、覆盖哪些科目与教员、样本的等级分布。
- 指标与模型:用了 kappa 还是 ICC;ICC 是哪一个模型、单次还是平均、绝对一致还是一致性。
- 点估计与区间:指标值 + 置信区间,而不是只写一个数字。
- 机会一致或方差结构:kappa 报 Po 与 Pe;ICC 报评分者间与残差变异。
- 偏差分析:Bland–Altman 的平均差、LoA、是否存在比例偏差。
- 运行判断:LoA 与"可接受差异标准"的对比结论。
- 后续动作:需要校准的教员、需要重写锚点的等级、下一次复评时间。
十一、BARS 锚点怎么写才可评
11.1 机制层:一个锚点必须回答三个问题
| 问题 | 不合格锚点的表现 | 合格锚点的表现 |
|---|---|---|
| 看到什么? | "沟通能力强"——看到什么才算强? | 列出可观察的行为:主动复述、提出异议、在被否后第二次提出。 |
| 到什么程度? | "较好""一般""较差"——程度全凭感觉。 | 给出频率、时机、独立性等可数条件:"每次进近都主动核对""无需提示即可完成"。 |
| 什么算不够? | 只写正面,不写边界。 | 同时给出"差一级"的具体样子,让相邻等级可区分。 |
11.2 证据层:整体评分与行为锚定的差别
整体评分(global rating)要求评分者看完整个表现后给一个总体判断,速度快但依赖评分者的内隐标准; 行为锚定评分(BARS)把每个等级对应到具体行为样例,评分者做的是"匹配"而不是"总体感觉"。 一般规律是:结构化程度越高,评分者间一致性越好;但结构化过度会把复杂表现切成碎片, 可能损害效度(尤其是"整体判断""情景意识"这类整合性能力)。
11.3 操作层:四步写出可评锚点
| 等级 | 不合格写法 | 可评写法(教学示例) |
|---|---|---|
| 5 | "情景意识极强" | 在出现第一个偏离迹象时主动报告,并同时给出当前状态、趋势与建议动作;无需提示。 |
| 4 | "情景意识较好" | 在偏离明显后主动报告,能说出当前状态与建议,但未提及趋势。 |
| 3 | "情景意识一般" | 被提示后能正确识别偏离并复述,但不主动提出建议。 |
| 2 | "情景意识较弱" | 被提示后仍未能完整复述偏离内容,需要对方代为解释。 |
| 1 | "情景意识差" | 偏离已影响飞行状态仍未察觉;或察觉后给出了与事实相反的描述。 |
11.4 失败层:锚点的四种写法错误
| 错误 | 例子 | 后果 |
|---|---|---|
| 形容词化 | "优秀""良好""尚可" | 每个评分者按自己的词典翻译,一致性无从谈起。 |
| 人格化 | "作风严谨""态度端正" | 评的是人不是行为;无法观察,也无法申诉。 |
| 结果化 | "未发生任何差错" | 把"没出事"当成"做得好",掩盖了过程中的风险处理。 |
| 等级重叠 | 4 级与 5 级描述几乎相同 | 评分者被迫在两个无法区分的等级间猜,误差被人为放大。 |
十二、在 CBTA 评估中的落地
12.1 评分表设计:行为锚定 vs 整体评分
行为锚定评分表(BARS)
- 每个等级都有可观察的行为描述
- 争议可以回到锚点讨论,而不是回到个人印象
- 可训练、可校准、可复现
- 缺点:开发成本高;容易变成"逐条勾选",丢失整体判断
整体评分(Global Rating)
- 评估者给出一个综合判断
- 贴近专家直觉,能捕捉整合能力
- 缺点:难校准、易受个人尺度影响、反馈笼统
- 缺点:一致性通常低于行为锚定
实践上不必二选一:关键胜任力用行为锚定,整体表现用带锚点的整体评分。 但两者必须共享同一套行为词典,否则"整体分"会变成脱离锚点的印象分。
| 等级 | 差的锚点(不可观察、不可校准) | 好的锚点(可观察、可判定) |
|---|---|---|
| 5 分 | "情景意识非常强,表现优秀。" | "在全程飞行中持续交叉检查 FMA 与航径;在偏差出现后 10 秒内主动指出,并给出具体参数与修正建议。" |
| 3 分 | "基本能管理情景意识。" | "能发现明显偏差并在提示后修正;对隐含偏差(如趋势性偏离)需要他人提醒。" |
| 1 分 | "情景意识差。" | "多次未发现已出现的偏差;被提醒后仍未修正;无法说出当前航径与预期航径的差异。" |
12.2 教员校准训练:让差异可解释
校准(calibration)不是"统一口径到某个权威分数",而是让教员之间的差异变得可解释、可归因、可修正。 一个可复用的四步流程:
同一段录像,各自打分
不事先讨论、不互相看分数。保留每个人的原始评分与理由,这是后续归因的基础。
差异来自哪里
三类归因:信息差(有人没看到某个行为)、标准差(看到了但认为重要性不同)、尺度差(都同意行为,但打分习惯不同)。
用锚点解决分歧
回到评分表原文,讨论"这条行为是否出现""出现到什么程度"。锚点写不清的,现场修改锚点,而不是现场统一分数。
换一段录像,再评一次
校准是否真的生效,要看下一段的表现,而不是看这次讨论有没有达成共识。建议每半年一轮。
12.3 双评抽检:怎么抽、怎么判
- 盲评: 第二位教员不知道第一位给了多少分,也不知道这是抽检对象。
- 分层: 按科目、按教员、按等级分布抽;刻意保证边缘案例与不合格案例的比例。
- 阈值触发: 预先定义"差多少分触发第三方复评",而不是事后看着数字决定。
- 记录理由: 双评不只是记分数,还要记"为什么给这个分",否则差异无法归因。
- 不用于排名: 抽检结果用于校准与制度改进,一旦用于个人绩效排名,评分行为会立刻向"安全区"收敛。
12.4 漂移监控与复训周期
| 周期 | 看什么 | 异常信号 |
|---|---|---|
| 每月 | 各教员评分的均值、标准差、等级分布 | 某位教员均值持续偏离群体;标准差异常小("不敢给极端分");5 分比例突然上升。 |
| 每季度 | 双评抽检的 kappa / ICC 与 Bland–Altman | LoA 变宽;平均差方向改变;出现新的比例偏差形态。 |
| 每半年 | 同一段标准录像的重复评分 | 全体评分整体上移或下移——这是最典型的漂移证据。 |
| 每年 | 锚点复训 + 评分表修订 + 效度证据回顾 | 锚点描述与实际运行脱节;分数与训练结果、运行表现的相关性下降。 |
要注意:监控"严不严"和监控"稳不稳"是两件事。 只看均值,会发现不了"全体一起漂移";只看 ICC,会发现不了"全体一起偏移"。 两者必须同时看,再叠加一段固定录像的纵向对比。
12.5 数据治理:三个容易踩的坑
- 同一分数两种用途: 既做形成性反馈、又做终结性判定。学员一旦知道这个分数会决定升级,就不再暴露真实问题。
- 重复评估当独立样本: 同一学员多次评分被当成多个独立观测,统计上会高估一致性。
- 小样本上报细分: 某个科目只有 3 人,仍然按科目公布一致率,既泄露个人信息,也没有统计意义。
十三、校准工作坊:半天时间怎么用
13.1 目标:三个"不"与三个"要"
三个"不"
- 不追求当场把所有分数调成一样
- 不把分歧当成"有人水平不行"
- 不用权威拍板替代证据讨论
三个"要"
- 要能指出"哪一秒、哪个行为"造成了分歧
- 要把分歧归到锚点、观察或推理三者之一
- 要产出一个可带回岗位的具体改动
13.2 议程:半日工作坊(约 3.5 小时)
| 时段 | 内容 | 产出 | 注意 |
|---|---|---|---|
| 0:00–0:20 | 说明规则:独立评分、不讨论、不查标准答案 | 共同约定 | 先声明"今天不追责",否则后面没人说真话。 |
| 0:20–0:50 | 三人独立评 3 段录像(每段 8–10 分钟) | 原始分数矩阵 | 录像要含一段"边界案例",一段"明显不合格",一段"表现良好"。 |
| 0:50–1:10 | 公布分布,只报数不辩论 | 分歧地图 | 先看"哪一段分歧最大",不先看"谁高谁低"。 |
| 1:10–2:00 | 逐段回放,各自指认"决定性行为" | 分歧归因 | 必须精确到时间点;说不出时间点的分歧,多半是整体印象。 |
| 2:00–2:30 | 归因分类:锚点问题 / 观察遗漏 / 推理差异 | 问题清单 | 三类只选一类为主因,避免"都有问题"。 |
| 2:30–3:10 | 改写锚点或补观察点,当场重评同一段 | 修订稿 | 重评只用于验证改动是否可操作,不作为新的一致性数据。 |
| 3:10–3:30 | 每人写一条"下周要改的具体动作" | 行动承诺 | 必须可观察,例如"每次评估先写三条行为证据再给分"。 |
13.3 场景一:一次"4 分还是 2 分"的归因
背景: 三名教员独立评同一段模拟机录像(进近中天气恶化),能力项"情景意识"。 甲给 4 分,乙给 4 分,丙给 2 分。若只看数字,会得出"丙偏严"的结论;工作坊要做的,是把这个结论推翻或证实。
各方看到什么: 同一段录像,三人坐在不同隔间,各自记录。
决策点零: 是否允许互相商量。若允许,三人会迅速趋同,后续所有数据都失去意义。
现场反应(错误版): "丙,你是不是标准太严了?"——这句话一出,丙之后所有解释都会变成自我辩护。
主持人应说: "先不讨论谁对。我们看三段录像里,哪一段分歧最大,一起回放。"
决策点一: 第一句话决定这场工作坊是"归因"还是"审判"。
丙说: "他报告了,但没有说趋势,也没有给建议;之后机长继续进近,他也没有第二次提出。我按锚点给 2。"
关键发现: 两人看的是同一段行为的不同部分——甲看"有没有报告",丙看"报告之后有没有推进"。
决策点二: 此时若主持人直接说"丙说得对",甲会学到"少说话",而不是学到"锚点要看推进"。
①锚点问题:4 级写的是"主动报告",2 级写的是"被提示后才报告",但两者都没写"报告之后是否推进"。
②观察遗漏:甲没有注意到第二次该提而未提。
③推理差异:甲认为"报告即达标",丙认为"报告只是起点"。
结论:主因是①,锚点缺了"推进"这一维度。 ②③都是①的下游后果。
如果归因错误: 若判为②,甲会被要求"看得更细",但他下次仍然不知道该看什么;若判为③,会变成观点之争,永远吵不完。
验证: 三人用新锚点重评同一段。甲改为 3,乙改为 3,丙仍为 2 但能说出"他缺的是建议,不是报告"。
结果解读: 分歧从 2 分缩小到 1 分,但没有完全消失——这正常。丙关注的是"未第二次提出",而锚点尚未覆盖"第二次"。记录为下一轮待改项。
代价不是一次争吵,而是把结构问题误当成个人问题,反复消耗。
13.4 场景二:漂移复盘的时间线
背景: 教员乙的锚件偏离从 Q1 的 +0.2 一路走到 Q3 的 +1.0(见第八章示例表)。 以下是他被发现之后的复盘时间线,重点是"在哪一步做决策"。
各方看到什么: 只有数据管理员看到,没有进入任何会议议程。
决策点零: 是否把锚件偏离设为常规报表项。没有这一步,后面所有检测都不存在。
容易下的结论: "他就是心软。"——这个结论无法验证,也无法干预。
正确的动作: 调取两段他给出高分的录像,与另一位教员的评分并排看;找出"哪一秒开始不同"。
决策点一: 是解释动机,还是定位行为。
机构动作(错误版): 通报批评 + 要求"从严"。结果他把所有分数整体下调,锚点问题仍未处理。
机构动作(正确版): 一对一校准,用锚件录像逐段对齐;同时检查他是否承担了特殊人群(补考、外籍),必要时调整搭配。
决策点二: 干预的对象是"尺子"还是"态度"。
正确的解读: 这只说明"锚件对齐了",不说明"真实评估一致了"。
下一步: 抽 5 段新录像做盲评双评,算加权 kappa 与 LoA;若 LoA 仍宽,继续校准,而不是宣布完成。
13.5 评估者训练:四个模块与模拟复现
评估者不是"会飞就能评"。评估本身是一项技能,需要像带飞一样分模块训练。 下面四个模块可以直接嵌入现有的教员复训。
| 模块 | 科目目标 | 模拟复现方式 | 评估看什么 |
|---|---|---|---|
| M1 观察 | 能在长段录像中定位"决定性行为"。 | 播放 10 分钟录像,要求写出 3 条带时间戳的行为证据。 | 证据是否可回放核对;是否混入推断与人格判断。 |
| M2 锚点 | 能把行为证据映射到具体等级。 | 同一段录像给 3 人独立评分,再逐条对照锚点文字。 | 落级理由是否引用了锚点原文,而不是"感觉"。 |
| M3 边界 | 能稳定处理边界案例与不合格案例。 | 故意放入"刚好在线上"的录像,观察给分是否摇摆。 | 是否给出"差一点"的具体理由;是否会为避免麻烦而抬分。 |
| M4 反馈 | 能把评估结论讲给学员听,且不引发防御。 | 角色扮演:教员—学员对话,学员由另一位教员扮演并故意质疑。 | 是否先给证据再给等级;是否能把"不合格"讲成"下一步做什么"。 |
13.6 评估者常见的三种错误,以及讲评怎么指出
"感觉他飞得挺稳"
先有结论,再回找证据。常见于经验丰富的教员——越熟练,越容易跳过证据。
- 识别: 让他说出"哪一秒"时,回答变成"整体上看"。
- 讲评: "先把三条行为写下来,再给等级;我们对照看看等级是否还成立。"
"这个程度应该算 4 吧"
长期不看锚点原文,凭记忆评;记忆里的标准随最近几次评估而移动。
- 识别: 同一段录像,隔一个月给分不同,且说不出为什么变。
- 讲评: 把他的旧分数与新分数并排,问"这两个等级差在哪个行为上"。
"差一点就让他过了"
明知不达标,但不愿承担"毁人前程"的心理压力,用抬分换取人际轻松。
- 识别: 分数集中在合格线以上一格;从不给最低档。
- 讲评: "你抬的这一分,会把风险转给谁?"——把后果说清楚,而不是讲道德。
"宁可错杀"
与错误三相反:因为怕担责而系统性压分,把"严格"当成免责工具。
- 识别: 低分比例异常高,且理由多为"不够稳定"这类模糊表述。
- 讲评: 要求给出"差一级的具体行为",给不出就重评。
讲评评估者时,同样用三段结构,但顺序要调整:先证据、再影响、最后是下一次的判断规则。
证据: "你给 4 分,但我请你指认决定性行为时,你说了三次'整体上',没有给时间点。"
影响: "这导致另一位教员无法复核你的判断;一旦学员申诉,我们拿不出可核对的事实。"
下一次规则: "从今天起,先写三条带时间戳的证据,再落级;写不出就先不定级。"
13.7 失败层:工作坊的四种退化
| 退化形态 | 现场表现 | 后果 |
|---|---|---|
| 变成标准答案发布会 | 主持人逐条讲"应该给几分"。 | 大家记住答案,不记住推理;新录像照样分歧。 |
| 变成互相批评会 | 分歧被归因为"某人水平不行"。 | 之后没人敢给不同分,数据趋于一致但失真。 |
| 变成一次性的活动 | 全年只办一次,无后续抽检。 | 效果在两个月内衰减,且无法证明是否有效。 |
| 变成没有记录的聊天 | 讨论很热烈,没有产出锚点修订。 | 同样的分歧下次原样重演,经验无法沉淀。 |
十四、与现有两篇文章的衔接
| 文章 | 已经覆盖的内容 | 本文补充的部分 | 建议一起使用的方式 |
|---|---|---|---|
| 教员评估一致性 | 评估偏差类型、教员胜任力框架、5 分制标准、标准化流程、校准训练方法、评估者间信度提升策略。 | 三类一致性指标的适用条件、计算口径、模型选择与解读边界;kappa 悖论与 ICC 模型差异。 | 把它的"校准流程"作为操作层,把本文的"指标选择"作为度量层:先按它的流程做校准,再用本文的指标验证校准是否生效。 |
| PTA 的 CBTA 数据分析方法 | 平台数据架构、筛选器维度、数据可视化、风险指标体系、教员校准中的平台应用。 | 看板上每个一致性数字"怎么算、代表什么、什么时候不能信";置信区间与样本量问题。 | 看板负责"持续可见",本文负责"数字可信"。看板上的"一致率 92%"必须能追到 Po、Pe、kappa 与样本量,否则只能当趋势参考。 |
14.1 三个可以直接接上的接口
- 评分表 → 锚点: 《教员评估一致性》里的 5 分制标准,可以直接作为本文"行为锚定"的输入;本文补充"锚点必须可观察"的写法规则。
- 校准训练 → 双评抽检: 把校准训练产出的"共识锚点"作为双评的判定依据;差异归因的三类(信息差/标准差/尺度差)可以直接写进抽检记录表。
- 平台看板 → 年度体检: 用 PTA 的筛选器维度(教员、科目、批次、等级)切分样本;用本文的指标口径输出年度报告。
一个从不出现分歧的评估体系,通常不是因为它准确,而是因为它没有被真正检查过。
十五、评估结果用于人事决策时的边界
15.1 机制层:三种用途,三套规则
| 用途 | 目的 | 对分数的要求 | 对不一致的容忍 |
|---|---|---|---|
| 形成性 | 帮助学员/教员改进。 | 低:可以只有 1 位评估者,可以有分歧。 | 高:分歧本身是讨论素材。 |
| 终结性 | 判定是否达到标准。 | 中:需要明确锚点、双评或申诉机制。 | 中:分歧需有裁决规则。 |
| 人事决策 | 晋升、续聘、岗位调整、绩效。 | 高:需要信度证据、程序记录、可复核。 | 低:不一致必须能被解释与复核,否则不能作为依据。 |
15.2 程序层:六个必须具备的前提
15.3 统计层:三个容易被误用的数字
| 数字 | 被误用的方式 | 正确用法 |
|---|---|---|
| ICC / kappa | "我们的一致性是 0.85,所以对他的评分是可靠的。" | 群体层面的指标,不能推出单个分数可靠;个体判断要用 SEM/MDC 与证据复核。 |
| LoA | "两位教员最多差 1 分,所以差 1 分以内都算一致。" | LoA 是群体的 95% 差值范围,不是个体容忍阈值;个体差异要单独复核。 |
| MDC95 | "他的分数提高超过 MDC,说明训练有效。" | MDC 只说明"变化可能不是测量误差",不说明"变化由训练导致";因果需要设计支持。 |
15.4 操作层:评估记录的最小数据集
| 字段 | 为什么需要 | 缺失后的后果 |
|---|---|---|
| 评估时间、地点、科目 | 确定情境与标准版本。 | 无法判断用的是哪一版锚点。 |
| 评估者身份与资质 | 判断是否有资格评此项。 | 申诉时无法证明评估者适格。 |
| 行为证据(含时间戳) | 支撑每个等级。 | 等级变成不可核对的主观判断。 |
| 锚点版本号 | 避免"用旧标准评新要求"。 | 标准漂移无法追溯。 |
| 分歧与裁决记录 | 双评不一致时如何处理。 | 裁决过程不可复现,程序受质疑。 |
| 告知与同意记录 | 证明当事人知道用途。 | 用途扩大时缺乏依据。 |
15.5 失败层:从"研究指标"到"绩效工具"的滑坡
十六、评估一致性年度体检:操作清单
16.1 抽什么:分层抽样
16.2 抽多少:以置信区间宽度为目标
不要先拍一个"抽 10%",再算指标。正确顺序是: 先确定这个指标要多准(置信区间多宽),再反推需要多少样本。
- 先用小规模试点估出方差与一致率水平;
- 据此估算达到目标区间宽度所需的样本量;
- 样本量不足时,不要报告点估计作为结论,只能作为趋势参考并注明区间;
- 若某科目人数天然很少,合并科目报告,或多年累积后再分析。
16.3 算什么:一张对照表
| 评估产出 | 首算指标 | 同时报告 | 补充分析 |
|---|---|---|---|
| 合格 / 不合格判定 | Cohen's κ(两位)或 Fleiss' κ(多位) | Po、Pe、κ、置信区间、类别分布 | 若某一类占绝对多数,附 PABAK 或 AC1 作为敏感性参考 |
| 1–5 级胜任力评分 | 加权 κ(二次权重) | 权重方案、Po、κw、置信区间、等级分布 | 同时算 ICC(2,1) 绝对一致,用于与连续口径对照 |
| 科目总分(连续) | ICC(2,1) 绝对一致(双评) | ICC(2,1) 与 ICC(2,k)、置信区间、SEM | Bland–Altman:平均差、LoA、比例偏差、离群个案 |
| 不同教员评不同学员 | ICC(1,1) | 置信区间、样本异质性说明 | 无法推广到其他教员,结论范围必须写明 |
| 评分者数量不等 / 有缺失 | Krippendorff's α | α 值、置信区间(可用自助法)、缺失比例 | 说明 α 变体与距离度量 |
两份报告口径必须固定:同一指标、同一模型、同一权重,否则年度之间无法比较, 也就无法发现漂移。
16.4 怎么读:四步顺序
先看方向
看评分者均值差、Bland–Altman 平均差。先确认"谁偏严、谁偏宽",这决定了后面所有解释。
再看稳定性
看 kappa / ICC 与置信区间。区间太宽,说明样本不足,结论只能暂缓。
再看差值量级
把 LoA 与"可接受差异标准"对比。统计上一致,不等于运行上可接受。
最后看离群
挑出差异最大的几个案例,回到录像与锚点。它们通常指向锚点缺陷,而不是随机误差。
16.5 怎么用:三档结论与对应动作
| 结论档位 | 判定依据(示意) | 对应动作 |
|---|---|---|
| 可接受 | kappa/ICC 达到预设阈值且区间下界仍可接受;LoA 落在运行可接受范围内;无系统性漂移。 | 维持现有流程;继续保持半年一次标准录像复评;把结果作为效度证据留存。 |
| 需校准 | 平均差方向明显,或个别教员均值持续偏离;LoA 略超可接受范围;kappa 偏低但样本分布可解释。 | 针对偏差方向做校准训练;重写争议最大的 1–2 条锚点;扩大边缘案例抽检比例;下一季度复评。 |
| 需重做 | 区间宽到无法判断;多个科目一致性持续偏低且无法归因;分数分布与训练结果明显脱节。 | 暂停用该分数做终结性决策;重做评分表与锚点;重新培训评估者;必要时引入第三方复核。 |
16.6 一页体检清单
16.7 参考来源
统计方法原始文献
- Cohen, J. (1960). A coefficient of agreement for nominal scales. Educational and Psychological Measurement, 20(1), 37–46.
- Fleiss, J. L. (1971). Measuring nominal scale agreement among many raters. Psychological Bulletin, 76(5), 378–382.
- Shrout, P. E., & Fleiss, J. L. (1979). Intraclass correlations: Uses in assessing rater reliability. Psychological Bulletin, 86(2), 420–428.
- McGraw, K. O., & Wong, S. P. (1996). Forming inferences about some intraclass correlation coefficients. Psychological Methods, 1(1), 30–46.
- Bland, J. M., & Altman, D. G. (1986). Statistical methods for assessing agreement between two methods of clinical measurement. The Lancet, 327(8476), 307–310.
- Bland, J. M., & Altman, D. G. (1999). Measuring agreement in method comparison studies. Statistical Methods in Medical Research, 8(2), 135–160.
Kappa 悖论、解读标准与替代指标
- Feinstein, A. R., & Cicchetti, D. V. (1990). High agreement but low kappa: I. The problems of two paradoxes. Journal of Clinical Epidemiology, 43(6), 543–549.
- Cicchetti, D. V., & Feinstein, A. R. (1990). High agreement but low kappa: II. Resolving the paradoxes. Journal of Clinical Epidemiology, 43(6), 551–558.
- Landis, J. R., & Koch, G. G. (1977). The measurement of observer agreement for categorical data. Biometrics, 33(1), 159–174.
- Koo, T. K., & Li, M. Y. (2016). A guideline of selecting and reporting intraclass correlation coefficients for reliability research. Journal of Chiropractic Medicine, 15(2), 155–163.
- Byrt, T., Bishop, J., & Carlin, J. B. (1993). Bias, prevalence and kappa. Journal of Clinical Epidemiology, 46(5), 423–429.
- Gwet, K. L. (2008). Computing inter-rater reliability and its variance in the presence of high agreement. British Journal of Mathematical and Statistical Psychology, 61(1), 29–48.
- Krippendorff, K. (2004). Content Analysis: An Introduction to Its Methodology (2nd ed.). Sage.
训练与评估框架(仅列名称)
- ICAO Doc 9868《航空器驾驶员训练大纲程序》(PANS-TRG)。
- IATA《Evidence-Based Training Implementation Guide》(基于实证的训练实施指南)。
- EASA 关于基于胜任力训练与评估(CBTA)的规章与指导材料。
十七、十道自测题
- A. 因为 Po 无法计算
- B. 因为两人可能因为类别分布偏斜而"碰巧"高度一致,必须扣掉这部分
- C. 因为 Po 总是偏大
- D. 因为 Pe 是误差项
查看答案与解析
- A. 评分有 81% 是准确的
- B. 分数变异中约 81% 来自被评对象的真实差异,其余来自误差
- C. 两位评分者有 81% 的条目完全同分
- D. 81% 的学员被评为合格
查看答案与解析
- A. 绝对一致 ICC 与一致性 ICC 数值相同
- B. 一致性 ICC 高于绝对一致 ICC
- C. 绝对一致 ICC 高于一致性 ICC
- D. 两者都无法计算
查看答案与解析
- A. 评分者数量太多
- B. 类别分布高度偏斜(大家都判同一类)
- C. 评分量表级数太多
- D. 样本量太大
查看答案与解析
- A. 先看哪个权重大小好看,再选
- B. 事先声明用线性还是二次,并在报告中固定
- C. 两种都算,取较高的那个报告
- D. 权重不影响结果,可以忽略
查看答案与解析
- A. ICC(2,1)
- B. ICC(2,k)
- C. ICC(3,1) 一致性
- D. Cohen's kappa
查看答案与解析
- A. 一定代表真实进步
- B. 无法排除测量误差,单次评估不足以判定真实变化
- C. 说明评分系统无效
- D. 应把合格线下调 1 分
查看答案与解析
- A. 这个区间就是总体真值
- B. 界限本身也有置信区间,样本小时会明显更宽
- C. LoA 越小说明评分越差
- D. LoA 可以直接当作个体容忍阈值
查看答案与解析
- A. MCAR;无影响
- B. MAR;可用插补完全修正
- C. MNAR;完整案例分析会系统性高估平均能力
- D. 不属于缺失问题
查看答案与解析
- A. 一致性数值必须大于 0.9
- B. 用途事先告知、标准可获取、证据可复核、申诉通道独立
- C. 所有评分者必须给出完全相同的分数
- D. 只使用最近一次评估的数据
查看答案与解析
十八、术语表(中英对照)
| 中文 | 英文 | 一句话说明 |
|---|---|---|
| 科恩 κ | Cohen's kappa | 两位评分者、名义类别下,扣除机会一致后的一致程度。 |
| 弗莱斯 κ | Fleiss' kappa | 多位评分者、每个对象评分人数相同条件下的名义类别一致性。 |
| 加权 κ | weighted kappa | 有序类别下按"差几级"加权的 κ,分线性与二次两种权重。 |
| 患病率调整 κ | PABAK (prevalence-adjusted bias-adjusted kappa) | 针对类别偏斜与偏差校正的替代指标,数值约为 2Po−1。 |
| 克里彭多夫 α | Krippendorff's alpha | 允许缺失与不平衡设计的通用一致性系数。 |
| Gwet AC1 / AC2 | Gwet's AC1 / AC2 | 针对 kappa 悖论设计的替代系数,偏斜分布下更稳定。 |
| 组内相关系数 | intraclass correlation coefficient (ICC) | 用方差比例度量评分可靠性的指标,需声明具体模型。 |
| 绝对一致 | absolute agreement | 要求分数数值本身可互换,评分者整体偏差计入误差。 |
| 一致性 | consistency | 只要求排序一致,允许评分者整体平移。 |
| 测量标准误 | standard error of measurement (SEM) | 单个分数偏离"真值"的典型幅度,SEM = SD×√(1−ICC)。 |
| 最小可检测变化 | minimal detectable change (MDC95) | 超出测量误差、可被认为真实变化的最小分差,约 2.77×SEM。 |
| 一致性界限 | limits of agreement (LoA) | 两次测量差值 95% 的分布范围,d̄ ± 1.96·SDdiff。 |
| 行为锚定等级评分 | behaviorally anchored rating scale (BARS) | 每个等级对应具体可观察行为样例的评分表。 |
| 评分者漂移 | rater drift | 同一评分者的标准随时间系统性移动,分宽松化、严格化与维度漂移。 |
| 范围限制 | range restriction | 样本能力过于同质导致方差变小,从而压低 ICC/kappa。 |