ASSESSMENT QUALITY · RELIABILITY & VALIDITY

评分者一致性与信效度

Kappa · ICC · Bland–Altman — Choosing the Right Number

评估体系最容易犯的错误,是先讨论"我们的评分准不准",却从没检查"同一份表现,两个人看会不会给出同一个结论"。 本文先把信度讲清楚:三类一致性指标各回答什么问题、各自有什么陷阱, 再谈效度、谈 CBTA 的教员校准、双评抽检与年度体检怎么落地。

3类一致性指标
2种误差
6个常见误区
5步年度体检
🎯

一、为什么必须先谈信度,再谈效度

信度与效度不是两个并列的"质量指标",而是一条有先后的逻辑链: 测量不稳定,就无法判断它测的是不是对的东西。

1.1 两个词的定义

信度(Reliability)

  • 测量结果的一致性、稳定性、可重复性
  • 换一个评分者、换一个时点、换一批等价题目,结果是否基本相同
  • 本质问题:这份分数里,有多少是"真实差异",有多少是"噪声"

效度(Validity)

  • 测量是否测到了想测的东西
  • 分数能否支持预期的解释与决策(升级、放行、训练分流)
  • 本质问题:这份分数代表的能力,与它声称代表的能力是否一致

两者是必要不充分关系:信度低,效度一定高不了——因为噪声会淹没真实差异; 但信度高,效度未必好——两个教员可能非常稳定地评错了同一个东西。

核心关系 观测分数 = 真实能力 + 系统性偏差 + 随机误差
信度 ≈ 真实变异 / 观测变异  效度 = 分数能否支持预期解释与决策 信度处理"稳不稳",效度处理"对不对"。二者都缺一不可,但顺序不能颠倒。

1.2 两种误差:随机误差与系统偏差

把误差分成两类,是理解全部一致性指标的关键。它们的表现、危害与对策完全不同。

误差类型 典型来源 对信度的影响 对效度的影响 对策
随机误差 注意力波动、当天疲劳、观察片段不同、记忆偏差、打分时的心情。 直接压低稳定性:同一人两次评分不一致,同一段录像不同人打分不一致。 让分数在真值附近抖动,个体决策容易"忽上忽下"。 明确行为锚点、增加观察次数取平均、双评取均值、减少单次判断权重。
系统偏差 评分者整体偏严/偏宽、对某类学员的刻板印象、对某科目难度的固定预期、标准漂移。 不一定压低"一致性"(如果大家都偏严,排序仍一致),但一定压低"绝对一致"。 直接把分数整体拉偏,使合格线失去意义,形成"某人永远差一点"。 校准训练、锚点共识、双评抽检、监控评分者均值与分布、定期复训。
最容易被忽略的一点: 系统偏差常常"看起来很好看"。如果全体教员都偏宽, 合格率会上升,学员满意、进度顺畅,一致性数字也可能不错——但效度已经坏了。 所以不能只看"一致率",必须同时看分数的分布与绝对水平。

1.3 评分者漂移:纵向的一致性问题

绝大多数一致性讨论只处理"横向"问题——同一批表现,不同人评得是否一致。 但评估体系还有一个更隐蔽的问题:同一个人,随时间发生的尺度漂移。

  • 标准松动:长期没有"不合格"案例,教员的心理基准慢慢上移,原本 3 分的表现被评成 4 分。
  • 标准收紧:发生过一次事件后,全体教员趋于保守,同样表现被压低一级。
  • 样本漂移:学员整体水平变化,教员不自觉地用"相对排名"代替"绝对标准"。

漂移不会被横向 kappa 或 ICC 发现,因为它对"当时这一批"是一致的。 要发现它,必须做纵向对比:同一段标准录像在不同年份重复评分、监控教员评分的均值与分布、定期做锚点复训。

1.4 为什么 CBTA 对这个问题格外敏感

CBTA(基于胜任力的训练与评估)评的是构念,不是物理量。 "情景意识""工作负荷管理""决策"这些胜任力,没有可以直接读出的仪表数值, 只能通过可观察行为推断。这带来三个后果:

  • 观察即解释:同一个动作(例如复飞)可以被解释为"判断准确",也可以被解释为"胆怯保守",取决于评估者的框架。
  • 锚点即标准:如果没有行为锚定,等级就退化为评估者的个人印象,尺度随人而变。
  • 后果即决策:评估分数直接影响升级、放行、机型转换、机组搭配。用噪声做决策,比没有分数更危险。
一个现实判断: 评估体系里最贵的不是评分表设计,而是"让所有评分者用同一把尺"。 评分表可以一次做完,校准是永久的运行成本。
🧭

二、三类指标总览与选择

Kappa、ICC、Bland–Altman 不是三个"可互换的可靠性系数",它们回答三个不同的问题。 选错指标,比不算指标更危险。
指标 适用数据 评分者结构 回答的问题 不回答的问题
Cohen's κ 名义类别(合格/不合格、通过/不通过) 两位评分者,评同一批对象 扣除"碰巧一致"之后,一致性还剩多少? 不适用于连续分数;不告诉你差在哪个类别;对类别分布极敏感。
Fleiss' κ 名义类别 多位评分者;每个对象被相同数量的评分者评 多位评分者整体的一致性如何? 不能处理评分者数量不等或有缺失;同样受分布影响。
加权 κ 有序等级(1–5 分) 两位或多位(需相应扩展) 接近的等级算"部分一致"时,一致性如何? 权重方案(线性/二次)会改变结果,必须事先声明。
ICC 连续评分(总分、百分制、时间、距离) 单向或双向;随机或混合 评分者之间的差异,占观测差异的多大比例? 不指出偏差方向;对样本异质性与分布敏感;模型选错会误导。
Bland–Altman 连续评分(两次测量、两位评分者) 配对测量 两次评分平均差多少?差值的 95% 范围有多宽? 不给出单一可靠性系数;不适用于名义类别;小样本时界限本身很不稳。
Krippendorff's α 名义、有序、区间、比率均可 任意数量评分者,允许缺失 在数据不整齐时,一致性如何? 计算与解释门槛较高;不同 α 变体的假设需说明。

2.1 四步选择路径

STEP 1

先看数据类型

合格/不合格、通过/未通过 → 名义;1–5 级 → 有序;总分、时间、距离 → 连续。数据类型决定候选指标的范围。

STEP 2

再看评分者结构

两位、固定一批评分者、每人评所有对象 → Cohen / ICC(2,1) / ICC(3,1);不同评分者评不同对象 → ICC(1,1);多评分者且有缺失 → Krippendorff's α。

STEP 3

再问关心什么

只关心排序是否一致 → consistency;关心"换个人评会不会给出同一等级" → absolute agreement。运行决策通常需要后者。

STEP 4

最后看偏差

补一个 Bland–Altman:确认是否存在整体偏严/偏宽,以及差值的实际量级是否落在运行可接受范围。

没有"万能指标"。 每个一致性指标都隐含一个误差模型: kappa 假设误差来自"碰巧猜中",ICC 假设误差来自方差结构,Bland–Altman 假设误差可以用差值分布描述。 报告时必须写清"用了哪个指标、哪个模型、单次还是平均、样本量多少",否则数字无法解释。
🎲

三、Kappa:名义变量与机会一致

Kappa 解决的是一个非常具体的问题:当两个评分者都有"猜中"的可能时,实际一致率里有多少是真本事,有多少是运气。

3.1 为什么需要"机会一致"校正

假设两位教员评 100 名学员,只有"合格/不合格"两类。如果 95 人都合格, 即使两位教员完全不看表现、只凭印象随手划勾,也会有很高比例的一致——因为大家都倾向勾"合格"。

百分比一致率(agreement rate)把这种"运气"算成了"一致性"。 Kappa 的做法是:先根据双方各自的类别分布,算出"如果纯靠碰巧,应该一致多少", 再把这部分从实际一致率里扣掉。

3.2 计算口径

COHEN'S KAPPA(两位评分者、名义类别) κ = (Po − Pe) / (1 − Pe)

Po = 实际一致的比例
Pe = 按双方类别分布计算的期望一致比例 = Σ (pi· × p·i) pi· 为评分者 A 判为第 i 类的比例,p·i 为评分者 B 判为第 i 类的比例。κ = 1 表示完全一致;κ = 0 表示与"碰巧一致"相同;κ 可为负,表示比碰巧还差。
FLEISS' KAPPA(多评分者、名义类别) κ = (P̄ − P̄e) / (1 − P̄e)

P̄ = 每个对象上"一致配对"占该对象全部配对的比例,再对所有对象取平均
P̄e = Σ pi2(pi 为全部评分中判为第 i 类的比例) Fleiss' kappa 允许不同的人组成评分组,但要求每个对象被相同数量的评分者评。数量不等或有缺失时,应改用 Krippendorff's α。
加权 KAPPA(有序等级,如 1–5 分) κw = 1 − (Σ vij Oij) / (Σ vij Eij)

线性权重:vij = |i − j| / (k − 1)
二次权重:vij = ((i − j) / (k − 1))2 vij 是不一致权重,对角线上 v = 0,差得越远权重越大。 Oij 为观测到的 i/j 交叉频数,Eij 为期望频数,k 为类别数。 等价写法是使用一致权重 wij = 1 − vij,公式变为 (ΣwO − ΣwE)/(1 − ΣwE)——两种写法结果相同,但不能把一致权重代入"1 − ΣwO/ΣwE",否则对角项会被重复计算。 二次权重对"差两级"惩罚更重,且与 ICC 在有序数据上的数值较为接近,但两者的假设与解释仍不同。
CBTA 最常见的错误: 对 1–5 级胜任力评分直接用名义 kappa。 这会把"差一级"和"差四级"当成同样的不一致,等于假设 2 分与 5 分的距离和 3 分与 4 分的距离一样。 有序等级应当用加权 kappa,并事先声明权重方案。

3.3 Kappa 悖论:高一致,低 kappa

这是 kappa 最著名、也最常被误读的现象。Feinstein 与 Cicchetti 在 1990 年系统描述了它: 当某一类别在样本中占绝对多数时,kappa 会被严重压缩,即使原始一致率很高。

示意算例同一个 90% 一致率,两个不同的 kappa

情形 A:高合格率样本。 100 名学员中,两位评分者各自判 90 人合格、10 人不合格。 交叉表为:合格/合格 85 人,合格/不合格 5 人,不合格/合格 5 人,不合格/不合格 5 人。

Po = 90/100 = 0.90;Pe = 0.90×0.90 + 0.10×0.10 = 0.82;κ = (0.90 − 0.82)/(1 − 0.82) = 0.44

情形 B:合格率均衡样本。 同一组一致率 90%,但样本中合格与不合格各占一半: 合格/合格 45 人,合格/不合格 5 人,不合格/合格 5 人,不合格/不合格 45 人。

Po = 0.90;Pe = 0.50×0.50 + 0.50×0.50 = 0.50;κ = (0.90 − 0.50)/(1 − 0.50) = 0.80

以上为说明计算逻辑的假设数据,不是真实研究结果。同样的 90% 一致率,kappa 从 0.44 变到 0.80,差别只来自样本的类别分布。

悖论有两个主要来源,Feinstein 与 Cicchetti 将其区分为" prevalence(边缘分布)"与" bias(评分者偏差)":

  • 边缘分布不均(prevalence): 某一类别占绝大多数,Pe 很高,(1 − Pe) 很小,kappa 的分母被压缩,任何不一致都会被放大。
  • 评分者偏差(bias): 两位评分者的"严宽"不同,一方判 20 人不合格、另一方只判 10 人,即使排序相近,kappa 也会下降。
运行上的含义: 如果你们只招"基本合格"的学员,或只对"明显不合格"的人做评估, kappa 天然会低。此时不能说"评估不可靠",只能说"样本里可区分的信息太少"。 解决办法是在抽检样本里刻意加入边缘案例与不合格案例,而不是换个指标粉饰。

常见的补救指标包括 PABAK(prevalence-adjusted bias-adjusted kappa,Byrt 等,1993) 与 Gwet 的 AC1(2008)。它们能缓解悖论,但同样有自己的假设与局限, 只能作为补充报告,不能替代原始一致率、Pe 与 kappa 的完整呈现。

3.4 怎么解读 kappa

Landis 与 Koch(1977)给出的经验分级被引用得最多: 0.81–1.00 几乎完全一致,0.61–0.80 高度一致,0.41–0.60 中等,0.21–0.40 一般,0.00–0.20 轻微,负值为差于碰巧。

但这只是约定俗成的标签,不是运行阈值。 同一个 0.60,在"是否合格"的终结性判定里可能完全不够, 在"某行为指标是否存在"的探索性观察里可能够用。判断标准必须结合三件事: 置信区间宽度、类别分布、以及错误决策的后果。

报告 kappa 时,至少同时给出:Po、Pe、kappa、置信区间、样本量与类别分布。 只写"一致率 92%"或只写"kappa = 0.6",都不足以支持任何结论。

3.5 局限清单

  • 只处理离散类别,不适合总分、时间等连续评分。
  • 对类别分布高度敏感,高合格率场景下数值会被系统性压低。
  • 不指出"错在哪个类别",无法定位具体评分行为。
  • 名义 kappa 忽略等级之间的距离;有序数据必须用加权版本。
  • Fleiss' kappa 要求每个对象评分者数量相同;缺失数据需换 α。
  • 小样本时置信区间可能极宽,"0.6"的真实含义可能从"勉强"到"很好"。
📐

四、ICC:连续评分与方差分解

ICC(组内相关系数)用来处理连续评分:它把观测到的分数差异,拆成"学员之间真实存在的差异"与"评分带来的误差"。

4.1 基本思路:一个比值

ICC 的直观含义 ICC ≈ 对象之间的真实差异 / (对象之间的真实差异 + 评分误差)

越接近 1 → 分数主要由真实差异决定,可靠性越高
越接近 0 → 分数主要由误差决定,区分能力越弱 具体计算通常用方差分析:把总变异分解为"对象间""评分者间""残差"三部分,不同 ICC 模型只是对"误差"的定义不同。

这个比值有一个重要特性:它依赖样本的异质性。如果一批学员水平都很接近(比如都是成熟机长), 对象之间的真实差异很小,ICC 会被压低;如果样本里既有初学者又有老手,排序容易稳定,ICC 会偏高。 所以"ICC = 0.9"必须连同"样本是什么"一起解释。

4.2 模型怎么选:Shrout & Fleiss 的三类模型

1979 年 Shrout 与 Fleiss 把 ICC 整理成三类模型,1996 年 McGraw 与 Wong 进一步给出六种具体形式 (每个模型各有"单次"与"平均"两个版本)。选择模型取决于两个问题: 评分者是不是同一批?评分者能不能代表更大的评分者总体?

模型 评分者结构 能否推广到其他评分者 一致性类型 典型场景
ICC(1,1)
单向随机
每个对象由不同的评分者评;评分者身份不可识别(可交换)。 不能。评分者不被视为某个总体的样本。 绝对一致 每个学员由不同教员评,只想描述"这批评估的可靠性"。
ICC(2,1)
双向随机
同一批评分者评所有对象;这批评分者被视为更大教员总体的随机样本。 可以。结论可推广到其他同类教员。 绝对一致 抽 5 位教员评同一批学员,想推断"整个教员队伍的评分可靠性"。
ICC(3,1)
双向混合
同一批评分者评所有对象;他们就是唯一关心的评分者。 不能。评分者被视为固定。 一致性 只关心这 3 位核心教员的评分是否稳定,不打算推广。
ICC(2,k)
双向随机平均
同上,但使用 k 位评分者的平均分。 可以。 绝对一致 最终成绩取两位教员平均分,评估"平均分"的可靠性。
模型选错,数字就没有意义。 把 ICC(3,1) 的"一致性"当成"绝对一致"来报告, 会系统性高估可靠性——因为它允许评分者之间存在整体性的严宽差异,而这正是运行最关心的问题。

4.3 绝对一致(absolute agreement)与一致性(consistency)

绝对一致

  • 把评分者之间的均值差异也算作误差
  • 问的是:换一个教员,会不会给出同一个分数
  • 适合终结性判定、合格线、跨教员可比的场景
  • 通常数值更低,但更贴近运行现实

一致性

  • 只忽略评分者之间的整体水平差异,仍保留排序信息
  • 问的是:两位教员的排序是否一致
  • 适合研究、排序、相关性分析
  • 数值更高,但不能用于"是否合格"的绝对判断

举例:教员 A 普遍比教员 B 严 1 分,但两人对每个学员的相对排序完全一致。 此时 consistency 接近 1,absolute agreement 明显较低。对于"谁该进入下一阶段"的排序决策, 前者够用;对于"某人是否达到 3 分"的合格判定,必须看后者。

4.4 单次与平均:报告时必须写清

ICC(2,1) 的 "1" 表示单次测量的可靠性,ICC(2,k) 的 "k" 表示k 次平均的可靠性。 同一个数据集,平均分会比单次更可靠,这是 Spearman–Brown 公式描述的关系:

SPEARMAN–BROWN 关系 ICC平均 = k × ICC单次 / (1 + (k − 1) × ICC单次) k 为评分者数量。k = 2 时,若单次 ICC = 0.70,平均 ICC ≈ 0.82。平均分会"好看",但决策若依赖单个教员的判断,就必须看单次。
实践建议: 双评取平均作为最终成绩时,报告 ICC(2,k); 但如果要评估"任何一位教员单独评分是否可信",必须同时报告 ICC(2,1)。 只报平均,等于用"两个人平均后的稳定"掩盖"一个人单独评的不稳定"。

4.5 把 ICC 翻译成运行语言:SEM 与 MDC

ICC 是一个 0–1 的比例,教员和管理者不容易直接使用。更有用的两个派生量是 测量标准误(SEM)与最小可检测变化(MDC):

SEM 与 MDC95 SEM = SD × √(1 − ICC)
MDC95 = 1.96 × √2 × SEM ≈ 2.77 × SEM SD 为观测分数的标准差。SEM 表示"单个分数的典型误差量";MDC95 表示"在 95% 置信水平下,能被认定为真实变化的最小分数差"。
示意算例ICC 0.85 意味着什么

假设某科目总分标准差 SD = 10 分,ICC = 0.85。则 SEM = 10 × √(1 − 0.85) ≈ 3.9 分, MDC95 ≈ 2.77 × 3.9 ≈ 10.7 分。

这意味着:同一名学员两次评估相差 5 分,很可能只是噪声;只有当分差超过约 11 分时, 才能较有把握地说"能力真的变了"。如果训练大纲规定"提高 5 分即可进入下一阶段", 这个规定在当前信度水平下是无法被可靠检验的。

数值为演示计算逻辑的假设示例,不代表任何真实评估系统。
这是本文最实用的一句话: 不要问"ICC 够不够高",要问"用这个分数做决策时, 多大的变化才不是噪声"。SEM 与 MDC 把信度问题变成可操作的阈值问题。

4.6 ICC 的局限

  • 不指出偏差方向: ICC 只告诉你"差异有多大比例来自误差",不告诉你谁偏严、谁偏宽。
  • 依赖样本异质性: 样本太同质会压低 ICC,太异质会虚高,跨样本比较必须谨慎。
  • 对异常值敏感: 个别极端分数会明显改变方差结构。
  • 模型假设多: 单向/双向、随机/混合、单次/平均,任一选择都会改变数值与解释。
  • 小样本置信区间极宽: 只有点估计没有区间,基本不能用于判断。

4.7 几何直觉:方差分解为什么能变成一个比值

ICC 的公式看起来抽象,其实它做的是一个长度比例的运算。理解这一点,比记住公式更有用。 设想把每个学员的评分画成一根线段的长度;所有学员的评分放在一起,就形成一组长度不同的线段。 这组线段的总"离散程度",可以用每个线段与平均长度之差的平方和来度量——这就是总平方和(SStotal)。

平方和的可加性(几何直觉) SStotal = SS对象间 + SS评分者间 + SS残差 平方和在数学上可以严格相加,就像直角三角形的两条直角边平方和等于斜边平方。 所以"总差异"可以被切成三块互不重叠的来源:学员真实水平不同、评分者整体严宽不同、以及剩下的随机误差。

把平方和除以自由度得到均方(MS),再代回期望值公式,就得到各成分的方差估计。 ICC 本质上是:对象间方差 ÷ (对象间方差 + 误差方差)。 由于它是"某一段长度平方"占"总长度平方"的比例,所以它的取值范围天然被限制在 0 到 1 之间。

三个直观推论,比公式更好用: ①如果学员之间水平很接近(线段长度都差不多),SS对象间 很小,ICC 被压低——这不是评分差,而是样本没差异; ②如果评分者整体偏严或偏宽,这部分差异会进入误差项(绝对一致模型),ICC 被压低——这是真实的评分问题; ③如果评分者只在排序上一致、整体水平不同,一致性模型会把这部分从误差中剔除,所以 consistency 总是高于 absolute agreement。
一个常见的误读: "ICC = 0.9,说明评分的 90% 是准确的"。这句话没有意义。 ICC 比较的是方差的比例,不是"正确率";它不告诉你任何单个分数离真值多远(那要用 SEM)。 把比例误差当成准确率,是 ICC 被滥用最典型的方式。
📉

五、Bland–Altman:两次评分到底差多少

这是最容易被误用、也最容易被低估的一类分析。它回答的不是"相关有多高", 而是"两次评分差多少、这个差是否稳定、有没有超出可接受范围"。

5.1 它回答什么问题

它不回答

  • 两次评分"相关"有多高——相关可以很高,差值也可以很大
  • 哪一位评分者"更正确"——除非另有金标准
  • 一致性系数是多少——它不产出单一系数

它回答

  • 两次评分的平均差是多少(谁整体偏严/偏宽)
  • 95% 的差值落在什么范围内(一致性界限)
  • 差值是否随分数水平变化(比例偏差)
  • 有没有明显离群的对象需要单独看

5.2 做法与读法

Bland 与 Altman 在 1986 年发表于《The Lancet》的方法,核心是一张散点图: 横轴为两次评分的均值,纵轴为两次评分的差值。

系统偏差与一致性界限 d̄ = 差值的平均(系统偏差)
SDdiff = 差值的标准差
一致性界限(LoA)= d̄ ± 1.96 × SDdiff 若差值近似正态分布,约 95% 的差值会落在这两条界限之间。界限的宽度反映"两次评分能差多少",这是运行最需要的信息。
示意算例ICC 很高,但差值不可接受

两位教员评同一批学员,总分 100 分制。计算得平均差 d̄ = +1.2 分,差值标准差 SDdiff = 4.0 分。 则 LoA = 1.2 ± 1.96×4.0,约为 −6.6 分到 +9.0 分。

如果运行标准规定"两位教员总分差不应超过 5 分",那么这套评估不满足要求: 虽然平均差很小、ICC 可能也不低,但个别学员的实际差异可以接近 9 分,足以改变合格判定。

假设示例,用于说明"统计一致性"与"运行可接受性"不是同一件事。
最容易搞反的一步: 一致性界限(LoA)是统计结果,不是可接受标准。 必须先由训练/运行标准定出"差多少可以接受",再拿 LoA 去比。 如果反过来——看到 LoA 是多少,就说"这就是我们的允许范围"——等于让测量结果替标准做决定。

5.3 比例偏差:差值不是常数

如果散点呈"喇叭形"——低分区间差值小、高分区间差值大(或相反),说明差值随分数水平变化, 这叫比例偏差。此时单一的平均差与固定的 LoA 会产生误导。

  • 识别: 对差值关于均值做回归,看斜率是否显著偏离 0;或直接观察散点形状。
  • 处理: 对分数取对数后重做分析;或按分数区间分段报告 LoA;或在评分表里对高分段的锚点做专门校准。
  • 运行含义: 比例偏差往往说明"高分段锚点写得不够具体",教员在 4 分与 5 分之间缺少可共享的判断依据。

Bland 与 Altman 在 1999 年的方法综述中专门讨论了比例偏差与重复测量问题,这两点是实际应用中最常被跳过的。

5.4 重复测量与离群点

同一名学员被多次评估时,不能把每次评估都当成独立观测点丢进同一张图。这样做会人为缩小差值分布, 让一致性看起来比实际更好。正确做法是先按学员聚合(取平均或取代表值), 或使用针对重复测量的 Bland–Altman 变体。

离群点也不要直接删除。一个差值高达 20 分的个案,往往正是最有价值的校准材料: 它通常对应"两位教员对某条行为锚点的理解完全不同",而不是"随机误差"。 先看录像、再谈统计,顺序不能反。

5.5 局限

  • 不产出单一可靠性系数,不便进入年度指标看板。
  • LoA 依赖差值近似正态的假设;分布偏斜时界限含义会变。
  • 小样本时 LoA 本身的置信区间很宽,不宜直接当运行边界。
  • 不适用于名义类别(合格/不合格);此类数据应回到 kappa。
  • 只能比较两次(或两组);多评分者同时比较需要其他方法。
🧮

六、完整算例:一份评分矩阵,从头算到 LoA

前面三章分别讲了 kappa、ICC、Bland–Altman 的定义。这一章用同一份原始评分, 把三个指标一步步算出来,让你看到它们各自"吃进去什么、吐出什么"。 所有数字均可手工复核;n = 10 只用于演示算法,不构成任何可靠性结论。

6.1 数据:两位教员、10 名学员、1–5 级

设定:某科目终结性评估,教员甲与教员乙独立对同一批 10 名学员打分(1–5 级), 评分前未讨论,评分后才知道对方给了多少。运行规则:3 分及以上为合格。 原始矩阵如下(这是教学示例,不是真实评估数据)。

学员教员甲教员乙甲判合格乙判合格差值(甲−乙)均值
S144是是04.0
S234是是−13.5
S355是是05.0
S422否否02.0
S543是是+13.5
S634是是−13.5
S755是是05.0
S844是是04.0
S923否是−12.5
S1033是是03.0
先看三件事,再算指标: ①甲判 8 人合格、乙判 9 人合格——边缘分布不同; ②9 人完全同分、1 人差 1 级——原始一致率很高; ③只有 1 人(S9)在"是否合格"上判定不同——这一人正是所有决策风险所在。

6.2 第一步:名义 kappa(合格 / 不合格)

计算机会一致校正

Po = 9 / 10 = 0.90(10 人中 9 人判定一致)

甲判合格比例 p甲 = 8/10 = 0.80;乙判合格比例 p乙 = 9/10 = 0.90

Pe = 0.80×0.90 + 0.20×0.10 = 0.72 + 0.02 = 0.74

κ = (0.90 − 0.74) / (1 − 0.74) = 0.16 / 0.26 = 0.615 ≈ 0.62

注意:原始一致率 90% 看起来很好,校正后只有 0.62。差额全部来自"两个人都倾向判合格"这一机会一致。
为什么这一步不能省: 如果只报告"一致率 90%",管理层会认为评估很稳; 但 kappa 0.62 意味着,扣除碰巧一致后,真正超出随机的信息只有中等水平。 一致率高不等于判断一致——这是 kappa 唯一但最重要的价值。

6.3 第二步:加权 kappa(保留 1–5 级的距离)

名义 kappa 把"2 对 3"和"2 对 5"当成同样的不一致。要保留等级信息,需要先做 5×5 交叉表。 行是甲的分数,列是乙的分数:

甲 \ 乙12345行合计
1000000
2011002
3001203
4001203
5000022
列合计0134210

期望频数 Eij = 行合计 × 列合计 ÷ 10。例如 E3,4 = 3×4/10 = 1.2。 二次不一致权重 vij = ((i−j)/4)2:差 1 级 = 0.0625,差 2 级 = 0.25,差 3 级 = 0.5625。

计算二次加权 kappa

观测不一致量 ΣvO:
S2(3→4,差 1 级)×0.0625 + S5(4→3,差 1 级)×0.0625 + S6(3→4,差 1 级)×0.0625 + S9(2→3,差 1 级)×0.0625 = 4 × 0.0625 = 0.25

期望不一致量 ΣvE(按 E 表逐格乘 v 再相加)= 1.1875

κw = 1 − 0.25 / 1.1875 = 1 − 0.2105 = 0.789 ≈ 0.79

若改用线性权重(差 1 级 = 0.25),则 ΣvO = 1.0、ΣvE = 2.7,κw = 1 − 1.0/2.7 ≈ 0.63。 同一份数据、同一批评分,仅仅因为权重方案不同,结果从 0.63 变到 0.79——所以权重方案必须事先声明。
关键对照: 把连续等级压成"合格/不合格"后,kappa 从 0.79 掉到 0.62。 这不是评分变差了,而是信息被阈值丢掉了一部分。 这也解释了上一章的"高一致、低 kappa":类别越少、分布越偏,kappa 越容易被压缩。

6.4 第三步:ICC(2,1) 与 ICC(2,2),用方差分解算

把两位教员的分数看作"每名学员有两个观测",做双向随机方差分解。总平方和 SST = 18.8, 拆成三块:

变异来源平方和自由度均方说明
学员之间(对象间)16.891.867真实水平差异,是 ICC 的"信号"。
教员之间(评分者间)0.210.200整体严宽差异。本例两人平均分只差 0.1,几乎为零。
残差(交互与误差)1.890.200同一学员身上两位教员不一致的部分。
合计18.819—16.8 + 0.2 + 1.8 = 18.8,平方和可加。
计算单次与平均

ICC(2,1) 绝对一致 = (MSB − MSE) / [MSB + (k−1)·MSE + (k/n)·(MSR − MSE)]
= (1.867 − 0.200) / [1.867 + 0.200 + (2/10)×(0.200 − 0.200)]
= 1.667 / 2.067 = 0.806 ≈ 0.81

ICC(2,2) 平均 = (MSB − MSE) / [MSB + (MSR − MSE)/k]
= 1.667 / [1.867 + 0] = 0.893 ≈ 0.89

用 Spearman–Brown 复核:2×0.806 / (1 + 1×0.806) = 1.613 / 1.806 = 0.893 ✓

本例中 MSR = MSE(两位教员整体水平几乎相同),所以"绝对一致"与"一致性"数值相同; ICC(2,2) 高于 ICC(2,1),正是"取两人平均"带来的稳定性提升。
怎么读这三个数: 0.81 表示"换一位同等教员单独评,分数里约八成变异来自学员真实差异"; 0.89 表示"取两位平均后,这个比例升到近九成"。 但两者都不说明"评的是不是对的能力"——那是效度问题,ICC 不回答。

6.5 第四步:把 ICC 翻译成分数——SEM 与 MDC

计算单个分数的误差有多大

观测分数标准差 SD = 0.995(10 名学员、20 个评分的总体标准差)

SEM = SD × √(1 − ICC) = 0.995 × √(1 − 0.806) = 0.995 × 0.440 = 0.438

MDC95 = 1.96 × √2 × SEM = 2.772 × 0.438 = 1.21

在 5 分制里,1.21 分意味着:同一名学员两次评估相差 1 分,无法被认定为真实变化。 只有当分差超过约 1.2 分时,才能较有把握地说"能力变了"——这几乎等于相邻两个等级的全部距离。
运行含义: 如果训练大纲写"提高 1 分即可进入下一阶段",在这样一套评分系统下, 这个条款无法被可靠检验。不是学员不努力,而是尺子的最小刻度比要求的变化还大。

6.6 第五步:Bland–Altman,差值到底多大

计算平均差与一致性界限

10 个差值:0, −1, 0, 0, +1, −1, 0, 0, −1, 0

d̄ = −0.20(甲平均比乙低 0.2 分,方向很弱)

SDdiff = 0.632(样本标准差,除以 n−1)

LoA = −0.20 ± 1.96 × 0.632 = −0.20 ± 1.24,即 −1.44 到 +1.04

平均差的 95% 置信区间:−0.20 ± 2.262 × (0.632/√10) = −0.20 ± 0.45,即 −0.65 到 +0.25

平均差本身不显著(区间跨 0),但这不代表"两人评得一样"——它只说明"整体严宽差异小", 不代表个案差值小。LoA 宽度才是运行最需要看的数字。

LoA 自己也有不确定性。Bland 与 Altman 给出的近似标准误为:

一致性界限的标准误(近似) SE(LoA) ≈ √(3 × SDdiff2 / n) 本例 SDdiff = 0.632、n = 10,SE ≈ √(3×0.40/10) = 0.346。 乘以 t0.975,9 = 2.262,得 ±0.78。也就是说,上下两条界限各自还要再加上约 ±0.78 的不确定性。
这就是小样本的真实代价: 你算出 LoA 是"−1.44 到 +1.04",听起来很精确; 但它的置信区间大约是"−2.22 到 −0.65"和"0.26 到 1.82"——真实界限可能比你报告的宽得多。 用 n=10 的 LoA 去和运行标准比,等于用一个估计值当成了保证值。

6.7 五个数字拼成一句话

指标结果它回答的问题它不能回答的问题
名义 κ0.62合格判定扣除机会一致后还剩多少差在哪个等级、差多少分
二次加权 κ0.79保留等级距离后的一致性绝对分数是否可互换
ICC(2,1) / (2,2)0.81 / 0.89分数里多少是真实差异是否评对了构念
SEM / MDC950.44 / 1.21单个分数误差多大、多大变化才算真变误差的方向与来源
LoA−1.44 ~ +1.04两位教员实际能差多少分谁对谁错、可否接受

一份合格报告应当能连成这样一段话: "本次双评 10 例,合格判定 κ = 0.62;1–5 级二次加权 κ = 0.79;ICC(2,1) = 0.81(单次)、(2,2) = 0.89(平均); 单个分数误差约 0.44 分,可检测的最小真实变化约 1.2 分;两位教员差值 95% 落在 −1.44 到 +1.04 分之间。 样本仅 10 例,以上仅作算法演示,区间估计不足以支撑运行结论。"

6.8 失败层:这个算例不能证明什么

容易被误读成实际上不能成立的原因正确说法
"我们的评估可靠性是 0.81"样本只有 10 人,且是刻意选的整齐样本,区间极宽。"在这 10 例上,单次 ICC 的估计是 0.81;不能外推到全队。"
"加权 κ 0.79,说明评分很准"一致性只说明"两位教员像",不说明"像的是对的方向"。"评分者间一致性较好;效度仍需独立证据。"
"LoA 上限 1.04,所以最多差 1 分"LoA 是样本估计,且 n=10 时界限本身有 ±0.78 量级的不确定性。"在本样本中,约 95% 的差值落在该区间;界限的置信区间更宽。"
"MDC 1.21,所以 1 分进步没有意义"MDC 针对单个分数;多次评估取平均会降低误差。"单次评估无法分辨 1 分变化;若用多次平均,需重算 MDC。"
一句话总结: 算例的价值是让你看清每张表、每个除数、每个权重从哪里来, 而不是给你一个可以写进报告的结论。真实报告必须带样本量、分布、区间与模型声明。
📐

七、样本量与置信区间:为什么"0.81"不是一个答案

前一章算出的 0.81、0.79、1.21,都是点估计。点估计永远正确不了——它只是"最可能的值"。 真正能写进报告的,是"这个值可能在什么范围内"。这一章讲区间从哪来、有多宽、以及要多少人才能收窄。

7.1 机制层:为什么一定会有波动

评估可靠性研究的样本,是从"所有可能的学员与教员组合"里抽出的一小部分。 换一批学员、换一天、换一组教员,指标就会变。这种波动不是错误,而是抽样本身的属性。 统计学用标准误(SE)来度量它,而 SE 与样本量的关系是一个平方根关系:

平方根法则 SE ∝ 1 / √n 样本量翻四倍,标准误减半;翻一倍,标准误只降到原来的约 0.71。 这就是为什么"再多收几个人"很快就不划算——收窄区间的成本是平方级增长的。

更麻烦的是:一致性指标的 SE 不只取决于 n,还取决于一致率本身与类别分布。 当 Pe 接近 1(大家几乎都判同一类)时,分母 1 − Pe 很小,同样的 n 会给出大得多的 SE。 越是"看起来一致"的数据,kappa 的估计越不稳定。

一句话: 样本量不足时,你得到的不是"一个不太准的数",而是"一个可能完全相反的区间"。 报告点估计而不报区间,等于把不确定性藏起来。

7.2 证据层:n 与 k 不是一回事

在评分者一致性研究中,有两个"样本量":

  • n(对象数):被评的学员、病例、航段数量。它决定指标估计本身的精度。
  • k(评分者数):每位对象被几个人评。它决定测量误差能被平均掉多少。

两者不能互相替代。增加 k 会提高"平均分数的可靠性"(Spearman–Brown), 但不会让"这套评分系统本身的 ICC 估计"变得更精确——后者仍然取决于 n。 实践中常见一种错误:只增加评分人数、不增加被评对象数,然后宣称"可靠性提高了"。

SPEARMAN–BROWN:增加评分者的边际收益 ICCavg = k·ICC / (1 + (k−1)·ICC) 以 ICC(2,1) = 0.60 为例:k=2 → 0.75;k=3 → 0.82;k=4 → 0.86;k=6 → 0.90。 从 1 人加到 2 人收益最大,之后迅速递减;要抵消一位"偏严"评分者的影响,靠加人是不够的,必须靠校准。

7.3 操作层:三类指标的样本量怎么估

① kappa:用近似 SE 做粗规划

KAPPA 标准误(粗略近似,仅用于规划) SE(κ) ≈ √( Po(1 − Po) / [ n·(1 − Pe)2 ] ) 本例 Po=0.90、Pe=0.74、n=10:SE ≈ √(0.09 / (10×0.0676)) ≈ 0.365, 95% 区间约 ±0.72,即大致 [0, 1]——几乎没有信息量。 正式报告请用 bootstrap,或按 Fleiss–Cohen–Everitt 的完整公式计算;该近似会低估分布偏斜带来的误差。

② ICC:区间由 F 分布构造,工程上用 bootstrap

ICC 的置信区间基于均方比值服从 F 分布这一事实构造(Shrout & Fleiss, 1979;McGraw & Wong, 1996)。 不需要手算公式,但必须理解它的两个性质:区间不对称(靠近 1 时上侧被截断), 且宽度随 n 增大而收窄、随 k 增大变化很小。 如果样本量小,用 bootstrap 重抽样通常比正态近似更稳。

③ LoA:可以直接算出需要多少人

Bland–Altman 的界限标准误为 SE ≈ √(3·SDdiff2/n)。若要求界限的 95% 置信区间半宽不超过 h,则:

达到给定期望精度所需的样本量 n ≥ (1.96 × √3 × SDdiff / h)2 ≈ 11.52 × (SDdiff / h)2 例:SDdiff = 2 分,希望界限的置信区间半宽不超过 1 分 → n ≥ 11.52×4 ≈ 46。 这个公式只保证"界限估得准",不保证"界限本身够窄"——后者取决于评分系统本身。

7.4 报告模板:把区间写进去

项目必须写常见缺失
样本结构对象数 n、评分者数 k、评分者与被评对象的交叉方式(完全交叉/嵌套)只写"共评估若干人次",看不出设计。
点估计κ / ICC 的数值 + 所用模型(如 ICC(2,1))+ 权重方案只写"一致性良好",无数值无模型。
区间95% 置信区间,注明方法(F 分布 / bootstrap / 近似)完全没有区间。
误差翻译SEM、MDC95,以及它们在评分量尺上的含义只给 ICC,读者无法判断"1 分差意味着什么"。
限制样本代表性、范围限制、是否用于高风险决策把探索性结果写成制度结论。
一个实用的自检: 把报告里的数字全部遮住,只留结论句。 如果结论句仍然成立,说明数字只是装饰;如果结论句立刻变得空洞,说明数字承担了它该承担的重量。

7.5 失败层:样本量不足的三种表现

表现现场说法后果
区间宽到无法决策"ICC 是 0.81,但区间 0.45–0.95。"看上去有结论,实际无法判断是否达标;制度只能靠感觉执行。
分组排名"A 教员 0.78,B 教员 0.74,A 更好。"n 很小时,0.04 的差几乎全是噪声,却直接进入人事评价。
年度比较"今年比去年提高了 0.05。"样本构成变化(机型、学员批次)足以造成这个差,改进被误判。
最危险的一种: 用小样本结果去支持一个已经想好的结论。 这时区间会被省略,模型会被挑选,权重会被调整——数据不再检验判断,只是在为判断配图。
📉

八、评分者漂移:标准是哪一天开始变的

一致性指标是横截面的:它比较"此刻的几位评分者像不像"。 漂移是纵向的:它比较"同一位评分者,今天的标准和三个月前是否还是同一把尺"。 两者都合格,系统才稳定;只做前者,等于每年拍一张合影,却从不看录像。

8.1 机制层:漂移的三种形态

形态一 · 整体宽松化

平均分缓慢上移

常见于长期带飞的教员:与学员熟悉、投入情感、希望对方通过。个体内部标准不变,但"通过的门槛"在移动。

  • 信号:均值上升,标准差下降。
  • 危险:所有人都"进步了",实际能力没变。
形态二 · 整体严格化

平均分下移,低分增多

常见于刚经历过事件、刚接受过强化培训、或刚被上级要求"从严"的教员。

  • 信号:均值下降,低分比例上升。
  • 危险:学员被误判为不合格,训练资源被错配。
形态三 · 维度漂移

某个能力项的标准单独移动

整体分数稳定,但某一项(如"工作负荷管理")突然变严或变松。最难发现,也最影响构念效度。

  • 信号:分项均值变化,总分不变。
  • 危险:评估在悄悄改变"什么算好飞行员"。
形态四 · 评分者间分化

一部分人漂移,另一部分没漂

横截面 ICC 下降,但找不到"谁错了"——因为大家用的尺子不同,且都在自己的尺子上很稳定。

  • 信号:ICC 逐年下降,LoA 变宽。
  • 危险:误判为"评分者能力不行",实为缺少校准。

8.2 证据层:纵向设计比指标更重要

检测漂移的关键不是统计方法,而是有没有可重复的锚。三种常用设计:

设计做法优点局限
固定锚件 同一段标准录像/同一份病例,每季度让所有评分者重评一次。 直接测量"尺子"本身;不依赖学员变化。 记忆效应;反复看同一段会产生"标准答案"。
交叉重评 随机抽取历史评估的录像,由另一位评分者盲评,与原始分数比对。 贴近真实工作样本;可同时算 ICC 与 LoA。 需要录像与权限;抽样量往往不足。
重复评分 同一评分者在不同时间对同一对象重评(间隔足够长,避免记忆)。 直接估计评分者内部稳定性(intra-rater)。 暴露度高,评分者可能抵触;间隔难控制。
容易被忽略的一点: 一致性研究通常只算评分者间(inter-rater)一致性, 但漂移本质上是评分者内部(intra-rater)稳定性问题。 一个今天给 4 分、三个月后给 2 分的人,可能在任一时点都与其他人和睦一致——因为大家一起漂了。

8.3 操作层:四种检测方法

方法一:锚件偏离表(最实用)

每季度让全部评分者对 3–5 个固定锚件打分,计算每人相对"锚件基准分"的偏离。 偏离本身不判对错,只用于触发校准对话。

评分者Q1 偏离Q2 偏离Q3 偏离趋势动作
教员 A0.0+0.1+0.2稳定无
教员 B+0.2+0.6+1.0持续宽松化一对一校准;检查是否与带飞关系过近
教员 C−0.1−0.5−0.4先严后稳观察一个周期,暂不干预
教员 D0.0+0.1−1.2突跳优先排查:近期事件、健康、人际冲突
表中数值为教学示例。 偏离阈值应由本单位根据评分量程自行设定(例如以半个等级为观察线、一个等级为干预线), 不存在通用的"标准偏离值"。关键是事先写定规则,而不是事后解释。

方法二:均值—标准差控制图

按月或按批次统计某位评分者的平均分与标准差。平均分单向连续移动,或标准差持续收窄("不敢给低分"), 都是漂移的早期信号。不需要复杂统计,只要有连续的时间序列即可。

方法三:累积和(CUSUM)

CUSUM 擅长检测"小幅但持续"的偏移,比单点比较灵敏。把每批次平均分与目标值的偏差累加, 当累积偏离超过预设界限时报警。它的价值在于早——单次偏差看不出来,累积能看出来。

方法四:分项差异功能分析(概念层)

心理测量学中的 DIF(differential item functioning)用于检测"某个题目对不同群体难度不同"。 移植到评估场景,可以检查同一能力项是否对某类学员系统性偏严或偏松(differential rater functioning)。 这类分析需要较大样本,本文只作概念提示,不作为常规工具推荐。

8.4 判定规则与调查动作

观察到的现象先排除什么再做什么
全员平均分整体上移学员批次是否真的更强(入学标准、机型、训练时长)若批次无差异,做锚件重评;查评分表是否改版、锚点描述是否被重写。
个别评分者持续偏离是否承担了特殊人群(如补考学员、外籍学员)一对一校准;必要时调整搭配,而不是直接改评价结论。
ICC 逐年下降样本是否变得更同质(范围限制会压低 ICC)检查 LoA 是否同时变宽;若是,优先做集中校准而非个体问责。
某一分项均值突变该分项的锚点文字是否最近被修改回溯改版记录;对旧评估做追溯重评抽样,评估影响范围。
原则: 漂移检测的目标是修尺子,不是抓人。 一旦漂移被发现后主要用于追责,下一次所有人都会把分数调回"安全区间",真实差异再次消失。

8.5 失败层:把漂移误判成"人变了"

第一步
某教员连续两个季度给分偏松,未做锚件检验,直接被认定为"标准把握不准"。
第二步
该教员被要求"从严"。他没有校准标准,只是把分数整体下调一档。
第三步
原本合格的学员开始被判不合格,复训量上升;教员之间出现"谁更严"的比较。
第四步
为了减少麻烦,大家重新向中间靠拢;ICC 回升,看起来"问题解决了"。
第五步
真实的能力差异被压缩到中间几档,评估失去区分力——比漂移更糟的结局。
这条链的教训: 漂移是标准的问题,不是态度的问题。 用态度手段(要求、考核、通报)处理标准问题,通常会把系统推向"所有人都一样"的假稳定。
🧩

九、多评分者与缺失数据:当设计不再整齐

两位评分者、每个人都被评到,是最理想的设计。真实运行里常见的是: 三位或更多评分者、不同学员被不同的人评、有人中途退出、有的科目只有录像没有现场。 这一章讲设计怎么描述、统计量怎么选、以及缺失为什么不能"当作没发生"。

9.1 机制层:先看清数据是怎么长出来的

设计结构例子可用的统计量
完全交叉 每位评分者评每一位对象。 两名教员评同一批 20 名学员。 Cohen's κ(2 人)、Fleiss' κ(多人)、ICC(2,1)/(2,k)。
部分交叉 评分者与对象有重叠但不完整。 三名教员各评一部分,有交叉但不全。 Krippendorff's α;或按配对分别算 κ 再汇总(需谨慎)。
嵌套 对象嵌套在评分者内,不同评分者评不同人。 不同基地的教员各评本基地学员。 不能直接算评分者间一致性;需多水平模型或先做共同锚件。
重复测量 同一评分者对同一对象评两次。 同一段录像隔月重评。 评分者内部一致性(intra-rater);ICC(3,1) 或配对比较。
先画一张表,再选指标。 行是对象、列是评分者,格子里是分数或"缺失"。 这张表的结构决定了你能算什么——很多"算不出来"的问题,其实是设计阶段就没留下可算的结构。

9.2 证据层:每个统计量都有设计前提

  • Cohen's κ:恰好两位评分者,且完全交叉、类别相同。
  • Fleiss' κ:多位评分者,每个对象被相同数量的人评(人数可以不同对象之间不同,但同一对象内必须齐)。类别为名义。
  • Krippendorff's α:允许缺失、允许不同对象被不同数量的人评、支持多种测量层次(名义/有序/区间)。代价是计算与解释更复杂。
  • Gwet 的 AC1 / AC2:针对 kappa 悖论提出的替代指标,在类别分布高度偏斜时更稳定;AC1 用于名义,AC2 用于有序。
  • ICC:需要方差分解;缺失会使某些模型不可识别,或用混合效应模型估计。
不要"降级使用": 把部分交叉的数据硬套 Cohen's κ(例如只取有重叠的两个人), 会丢掉大量信息,也会让样本看起来比实际小。缺失不是靠删数据解决的。

9.3 操作层:缺失怎么处理

先判断缺失的机制,再决定方法。这一步错了,后面所有计算都白做。

机制含义例子处理
完全随机缺失
MCAR
缺失与任何变量无关。 录像设备随机故障。 完整案例分析通常无偏,但浪费数据。
随机缺失
MAR
缺失与已观测变量有关,与未观测值无关。 外籍学员因语言问题更常缺某项评估。 可用多重插补或混合模型;需记录相关变量。
非随机缺失
MNAR
缺失与未观测值本身有关。 表现差的学员更容易缺考或不被安排复评。 任何插补都会引入偏差;必须做敏感性分析并报告。
最容易被误判的一种: "缺席的人只是没空"。如果缺席与能力相关(例如低分学员更常"因故"未参加), 那么完整案例的平均分会系统性偏高,一致性指标也会被高估。缺失模式本身就是一个发现。

多评分者的三个操作要点

1
先声明模型: 评分者是"随机抽样的代表"还是"固定的这几位"?前者用双向随机(2),后者用双向混合(3)。选错会让数值与解释都偏。
2
报告平均还是单次: 如果制度是"三人评取平均",报 ICC(2,k);如果制度是"任一人评即生效",必须报 ICC(2,1)。
3
缺失单独列表: 谁缺、缺什么、为什么缺。不要只报"有效样本 N"。

9.4 指标选择决策表

你的数据类别型有序等级连续分数
2 人、完全交叉、无缺失Cohen's κ加权 κ(线性/二次)ICC(2,1) 或 Bland–Altman
多人、完全交叉、无缺失Fleiss' κ加权 κ 的多人扩展,或 ICCICC(2,1)/(2,k)
有缺失 / 部分交叉Krippendorff's αKrippendorff's α(有序)混合效应模型 / ICC
类别高度偏斜Gwet AC1(并同时报 κ)Gwet AC2ICC 受范围限制影响,需说明分布
同一人重复评配对 κ加权 κ + 配对比较ICC(3,1);Bland–Altman
同时报两个指标不是偷懒,是负责。 κ 与 AC1、ICC 与 LoA,回答的是不同问题; 只报一个,读者无法判断这个数字是"真的一致"还是"分布造成的假象"。

9.5 失败层:设计缺陷如何伪装成统计问题

表面现象真实原因正确补救
"ICC 算不出来"不同学员被不同评分者评,矩阵不满秩。改用允许缺失的模型(混合效应、Krippendorff α),或补做共同锚件。
"一致性只有 0.4,评分者水平不行"评分者被嵌套在不同基地,评的是不同人群。先做分层分析或共同锚件校正;不要直接横向比较。
"样本量不够"缺失集中在某类学员,有效样本远小于名义样本。报告有效样本与缺失机制;必要时延长采集期。
"今年 ICC 突然变高"低分学员大量缺席,分数分布被压缩成高分区间。检查缺失模式;高 ICC 可能是样本被筛过的结果。
一句话: 统计方法不能修复设计缺陷,只能暴露它。 当指标异常时,先回去看数据表的结构,而不是先换公式。
⚠️

十、六个常见误区

以下六种做法在实践中极为常见,且每一种都会让"看起来不错"的数字失去意义。
误区 1

用 Pearson 相关代替一致性

相关系数只描述"线性相关的强度",对系统性偏差完全不敏感。 教员 A 给每人比教员 B 高 10 分,r 仍然可以接近 1.0。

  • r 高 ≠ 分数相同
  • r 还依赖样本异质性:样本里既有 2 分也有 5 分,r 自然高
  • 正确做法:ICC(绝对一致)+ Bland–Altman 差值
误区 2

用百分比一致率掩盖机会一致

"我们一致率 92%"听上去很好,但如果 95% 的学员都合格,纯靠猜也能达到很高的一致率。

  • 必须同时报告 Po、Pe、kappa
  • 必须报告类别分布
  • 高合格率场景下,低 kappa 不等于评估差
误区 3

把 ICC 高当成效度好

ICC 只说明"排序稳定",不说明"评的是对的东西"。两位教员可以非常稳定地一起评错: 都只看"态度好不好",都不看"决策质量"。

  • 信度是效度的必要条件,不是充分条件
  • 还要看内容效度:行为指标是否覆盖构念
  • 还要看后果效度:分数是否预测训练与运行表现
误区 4

样本量过小,只看点估计

用 5 个案例算出 kappa = 0.6 或 ICC = 0.8,然后写进年度报告。 这个点估计的置信区间可能宽到从"不可接受"一直覆盖到"优秀"。

  • 任何一致性指标都必须带置信区间
  • 样本同质会压低 ICC,样本异质会虚高
  • 先定"可接受的区间宽度",再决定抽多少
误区 5

对有序等级用名义 kappa

1–5 级胜任力评分是有序的,"差一级"和"差四级"的意义完全不同。 名义 kappa 把它们当成同样的不一致,等于丢掉了等级信息。

  • 应使用加权 kappa
  • 权重方案(线性/二次)必须事先声明
  • 二次权重惩罚更重,数值通常更低
误区 6

把 Fleiss' kappa 用在不等评分者数量上

Fleiss' kappa 要求每个对象被相同数量的评分者评。 现实中常有"某人被 3 位教员评、另一人被 2 位教员评"的情况,直接套用会得到无法解释的结果。

  • 评分者数量不等 → Krippendorff's α
  • 缺失数据同样应换 α 或明确插补规则
  • 不要为了"能算"而删掉不整齐的数据

10.1 一个正确的报告模板

评估一致性报告应包含的七项

  1. 数据与样本:评了多少人、多少份评分、覆盖哪些科目与教员、样本的等级分布。
  2. 指标与模型:用了 kappa 还是 ICC;ICC 是哪一个模型、单次还是平均、绝对一致还是一致性。
  3. 点估计与区间:指标值 + 置信区间,而不是只写一个数字。
  4. 机会一致或方差结构:kappa 报 Po 与 Pe;ICC 报评分者间与残差变异。
  5. 偏差分析:Bland–Altman 的平均差、LoA、是否存在比例偏差。
  6. 运行判断:LoA 与"可接受差异标准"的对比结论。
  7. 后续动作:需要校准的教员、需要重写锚点的等级、下一次复评时间。
判断一份报告是否可信,看它有没有"不愿意展示的部分"。 只展示漂亮的 ICC、不展示类别分布与 LoA 的报告,通常是在藏问题。
📏

十一、BARS 锚点怎么写才可评

前面所有指标都建立在同一个前提上:评分表本身是可评的。 如果锚点写成"表现优秀""基本胜任""有待提高",那么无论 kappa 还是 ICC,测到的都只是评分者的个人偏好。 这一章讲行为锚定等级评分(BARS)的写法,以及如何用一致性数据反过来检验锚点。

11.1 机制层:一个锚点必须回答三个问题

问题不合格锚点的表现合格锚点的表现
看到什么? "沟通能力强"——看到什么才算强? 列出可观察的行为:主动复述、提出异议、在被否后第二次提出。
到什么程度? "较好""一般""较差"——程度全凭感觉。 给出频率、时机、独立性等可数条件:"每次进近都主动核对""无需提示即可完成"。
什么算不够? 只写正面,不写边界。 同时给出"差一级"的具体样子,让相邻等级可区分。
BARS 的核心不是"描述得漂亮",而是"让两个人在同一段行为上给出同一等级"。 如果一段录像给两位教员看,他们无法各自独立地定位到同一个等级,这个锚点就还没写完。

11.2 证据层:整体评分与行为锚定的差别

整体评分(global rating)要求评分者看完整个表现后给一个总体判断,速度快但依赖评分者的内隐标准; 行为锚定评分(BARS)把每个等级对应到具体行为样例,评分者做的是"匹配"而不是"总体感觉"。 一般规律是:结构化程度越高,评分者间一致性越好;但结构化过度会把复杂表现切成碎片, 可能损害效度(尤其是"整体判断""情景意识"这类整合性能力)。

一个必要的平衡: 对可分解的技能(程序执行、检查单使用、喊话规范)用行为锚定; 对整合性能力(决策、情景意识、领导力)保留整体评分,但要求评分者先写下行为证据再给等级。 两者混用不是妥协,而是承认不同构念的性质不同。

11.3 操作层:四步写出可评锚点

1
收集行为样例: 从真实录像或模拟机中提取 8–12 个该能力项的典型行为片段,含"做得好"和"做得不够"两类。
2
按有效性排序: 让多位教员独立把这些片段从"最有效"到"最无效"排序;只保留排序高度一致的片段,分歧大的片段说明构念不清。
3
写成等级描述: 每个等级写 2–3 条可观察行为,句式统一为"当……时,表现为……",避免形容词堆叠。
4
反向检验: 用新锚点重评一批旧录像,算加权 kappa 与 ICC;若一致性仍低,问题多半在锚点而非评分者。
等级不合格写法可评写法(教学示例)
5"情景意识极强"在出现第一个偏离迹象时主动报告,并同时给出当前状态、趋势与建议动作;无需提示。
4"情景意识较好"在偏离明显后主动报告,能说出当前状态与建议,但未提及趋势。
3"情景意识一般"被提示后能正确识别偏离并复述,但不主动提出建议。
2"情景意识较弱"被提示后仍未能完整复述偏离内容,需要对方代为解释。
1"情景意识差"偏离已影响飞行状态仍未察觉;或察觉后给出了与事实相反的描述。
检验锚点是否可评的三个快速问题: ①只看行为描述,能否在录像里指出对应片段?②相邻两个等级能否用一段录像清晰区分?③两位教员看完同一段,能否不讨论就落在同一等级或相邻等级?

11.4 失败层:锚点的四种写法错误

错误例子后果
形容词化"优秀""良好""尚可"每个评分者按自己的词典翻译,一致性无从谈起。
人格化"作风严谨""态度端正"评的是人不是行为;无法观察,也无法申诉。
结果化"未发生任何差错"把"没出事"当成"做得好",掩盖了过程中的风险处理。
等级重叠4 级与 5 级描述几乎相同评分者被迫在两个无法区分的等级间猜,误差被人为放大。
最隐蔽的一种是"结果化": 它让评分变得极其容易一致(大家都不给低分), 指标会非常漂亮,但评估已经完全失去区分能力。看到"一致性极高且分数集中在高段"时,先怀疑锚点。
🛫

十二、在 CBTA 评估中的落地

指标只是诊断工具。真正决定评估质量的,是评分表怎么设计、教员怎么校准、抽检怎么抽、漂移怎么监控。

12.1 评分表设计:行为锚定 vs 整体评分

行为锚定评分表(BARS)

  • 每个等级都有可观察的行为描述
  • 争议可以回到锚点讨论,而不是回到个人印象
  • 可训练、可校准、可复现
  • 缺点:开发成本高;容易变成"逐条勾选",丢失整体判断

整体评分(Global Rating)

  • 评估者给出一个综合判断
  • 贴近专家直觉,能捕捉整合能力
  • 缺点:难校准、易受个人尺度影响、反馈笼统
  • 缺点:一致性通常低于行为锚定

实践上不必二选一:关键胜任力用行为锚定,整体表现用带锚点的整体评分。 但两者必须共享同一套行为词典,否则"整体分"会变成脱离锚点的印象分。

等级差的锚点(不可观察、不可校准)好的锚点(可观察、可判定)
5 分"情景意识非常强,表现优秀。""在全程飞行中持续交叉检查 FMA 与航径;在偏差出现后 10 秒内主动指出,并给出具体参数与修正建议。"
3 分"基本能管理情景意识。""能发现明显偏差并在提示后修正;对隐含偏差(如趋势性偏离)需要他人提醒。"
1 分"情景意识差。""多次未发现已出现的偏差;被提醒后仍未修正;无法说出当前航径与预期航径的差异。"
锚点写作的第一原则: 写"看见什么",不写"感觉怎样"。 凡是出现"良好、较强、较差、优秀"而没有具体行为的锚点,都会在半年内退化成个人印象。

12.2 教员校准训练:让差异可解释

校准(calibration)不是"统一口径到某个权威分数",而是让教员之间的差异变得可解释、可归因、可修正。 一个可复用的四步流程:

STEP 1 · 独立评

同一段录像,各自打分

不事先讨论、不互相看分数。保留每个人的原始评分与理由,这是后续归因的基础。

STEP 2 · 归因

差异来自哪里

三类归因:信息差(有人没看到某个行为)、标准差(看到了但认为重要性不同)、尺度差(都同意行为,但打分习惯不同)。

STEP 3 · 回锚点

用锚点解决分歧

回到评分表原文,讨论"这条行为是否出现""出现到什么程度"。锚点写不清的,现场修改锚点,而不是现场统一分数。

STEP 4 · 复评

换一段录像,再评一次

校准是否真的生效,要看下一段的表现,而不是看这次讨论有没有达成共识。建议每半年一轮。

关键细节: 校准讨论的主持人不要是职级最高的人。 否则"归因"会迅速变成"服从",尺度差被掩盖,下一轮还会重现。

12.3 双评抽检:怎么抽、怎么判

  • 盲评: 第二位教员不知道第一位给了多少分,也不知道这是抽检对象。
  • 分层: 按科目、按教员、按等级分布抽;刻意保证边缘案例与不合格案例的比例。
  • 阈值触发: 预先定义"差多少分触发第三方复评",而不是事后看着数字决定。
  • 记录理由: 双评不只是记分数,还要记"为什么给这个分",否则差异无法归因。
  • 不用于排名: 抽检结果用于校准与制度改进,一旦用于个人绩效排名,评分行为会立刻向"安全区"收敛。
一个反直觉的结论: 如果把双评差异直接用于处罚"偏严/偏宽"的教员, 他们会迅速学会"往中间打分"。一致性数字会变好看,但区分能力(以及效度)会下降。 这是典型的"指标被优化,问题被保留"。

12.4 漂移监控与复训周期

周期看什么异常信号
每月 各教员评分的均值、标准差、等级分布 某位教员均值持续偏离群体;标准差异常小("不敢给极端分");5 分比例突然上升。
每季度 双评抽检的 kappa / ICC 与 Bland–Altman LoA 变宽;平均差方向改变;出现新的比例偏差形态。
每半年 同一段标准录像的重复评分 全体评分整体上移或下移——这是最典型的漂移证据。
每年 锚点复训 + 评分表修订 + 效度证据回顾 锚点描述与实际运行脱节;分数与训练结果、运行表现的相关性下降。

要注意:监控"严不严"和监控"稳不稳"是两件事。 只看均值,会发现不了"全体一起漂移";只看 ICC,会发现不了"全体一起偏移"。 两者必须同时看,再叠加一段固定录像的纵向对比。

12.5 数据治理:三个容易踩的坑

  • 同一分数两种用途: 既做形成性反馈、又做终结性判定。学员一旦知道这个分数会决定升级,就不再暴露真实问题。
  • 重复评估当独立样本: 同一学员多次评分被当成多个独立观测,统计上会高估一致性。
  • 小样本上报细分: 某个科目只有 3 人,仍然按科目公布一致率,既泄露个人信息,也没有统计意义。
建议: 形成性评估与终结性评估使用不同的评分记录、不同的可见范围、不同的使用规则。 这不是行政负担,而是保护信度的必要设计。
🛠️

十三、校准工作坊:半天时间怎么用

校准最容易被开成"统一口径会":主持人宣布标准答案,大家点头,回去各评各的。 真正有效的工作坊不是统一分数,而是统一归因——让分歧的两个人说清楚"我们看的是不是同一段行为"。 本章给出议程、两个时间线场景,以及评估者训练与讲评的具体做法。场景均为教学示例。

13.1 目标:三个"不"与三个"要"

三个"不"

  • 不追求当场把所有分数调成一样
  • 不把分歧当成"有人水平不行"
  • 不用权威拍板替代证据讨论

三个"要"

  • 要能指出"哪一秒、哪个行为"造成了分歧
  • 要把分歧归到锚点、观察或推理三者之一
  • 要产出一个可带回岗位的具体改动
判断工作坊是否成功,不看当天的一致性提高了多少(当场讨论过的录像,一致性必然虚高), 而看三个月后未讨论过的新录像一致性是否提高。前者是记忆,后者才是校准。

13.2 议程:半日工作坊(约 3.5 小时)

时段内容产出注意
0:00–0:20说明规则:独立评分、不讨论、不查标准答案共同约定先声明"今天不追责",否则后面没人说真话。
0:20–0:50三人独立评 3 段录像(每段 8–10 分钟)原始分数矩阵录像要含一段"边界案例",一段"明显不合格",一段"表现良好"。
0:50–1:10公布分布,只报数不辩论分歧地图先看"哪一段分歧最大",不先看"谁高谁低"。
1:10–2:00逐段回放,各自指认"决定性行为"分歧归因必须精确到时间点;说不出时间点的分歧,多半是整体印象。
2:00–2:30归因分类:锚点问题 / 观察遗漏 / 推理差异问题清单三类只选一类为主因,避免"都有问题"。
2:30–3:10改写锚点或补观察点,当场重评同一段修订稿重评只用于验证改动是否可操作,不作为新的一致性数据。
3:10–3:30每人写一条"下周要改的具体动作"行动承诺必须可观察,例如"每次评估先写三条行为证据再给分"。

13.3 场景一:一次"4 分还是 2 分"的归因

背景: 三名教员独立评同一段模拟机录像(进近中天气恶化),能力项"情景意识"。 甲给 4 分,乙给 4 分,丙给 2 分。若只看数字,会得出"丙偏严"的结论;工作坊要做的,是把这个结论推翻或证实。

T+00:00 · 评分前
当时发生什么: 主持人说明规则:独立评分,不讨论,不看别人的表。
各方看到什么: 同一段录像,三人坐在不同隔间,各自记录。
决策点零: 是否允许互相商量。若允许,三人会迅速趋同,后续所有数据都失去意义。
T+00:50 · 公布分布
当时发生什么: 白板上出现 4 / 4 / 2。
现场反应(错误版): "丙,你是不是标准太严了?"——这句话一出,丙之后所有解释都会变成自我辩护。
主持人应说: "先不讨论谁对。我们看三段录像里,哪一段分歧最大,一起回放。"
决策点一: 第一句话决定这场工作坊是"归因"还是"审判"。
T+01:20 · 回放与指认
甲说: "他在 T-2:30 主动报告了能见度下降,我认为这是主动监控,给 4。"
丙说: "他报告了,但没有说趋势,也没有给建议;之后机长继续进近,他也没有第二次提出。我按锚点给 2。"
关键发现: 两人看的是同一段行为的不同部分——甲看"有没有报告",丙看"报告之后有没有推进"。
决策点二: 此时若主持人直接说"丙说得对",甲会学到"少说话",而不是学到"锚点要看推进"。
T+02:00 · 归因分类
三类候选:
①锚点问题:4 级写的是"主动报告",2 级写的是"被提示后才报告",但两者都没写"报告之后是否推进"。
②观察遗漏:甲没有注意到第二次该提而未提。
③推理差异:甲认为"报告即达标",丙认为"报告只是起点"。
结论:主因是①,锚点缺了"推进"这一维度。 ②③都是①的下游后果。
如果归因错误: 若判为②,甲会被要求"看得更细",但他下次仍然不知道该看什么;若判为③,会变成观点之争,永远吵不完。
T+02:40 · 改写与验证
改动: 4 级增加"报告后给出趋势或建议";3 级明确"报告但未给出建议";2 级明确"报告后未再推进,且需提示"。
验证: 三人用新锚点重评同一段。甲改为 3,乙改为 3,丙仍为 2 但能说出"他缺的是建议,不是报告"。
结果解读: 分歧从 2 分缩小到 1 分,但没有完全消失——这正常。丙关注的是"未第二次提出",而锚点尚未覆盖"第二次"。记录为下一轮待改项。
反推 · 晚一步会怎样
若在 T+00:50 就直接判定"丙偏严",后续链条是:丙被要求放宽 → 下一次他给 3 分 → 锚点问题原样保留 → 半年后换一批教员,同样的 4/2 分歧再次出现,而这次没人记得曾经"解决"过。
代价不是一次争吵,而是把结构问题误当成个人问题,反复消耗。

13.4 场景二:漂移复盘的时间线

背景: 教员乙的锚件偏离从 Q1 的 +0.2 一路走到 Q3 的 +1.0(见第八章示例表)。 以下是他被发现之后的复盘时间线,重点是"在哪一步做决策"。

Q1 · 数据已存在,但没人看
当时发生什么: 锚件偏离 +0.2,落在正常波动范围内。
各方看到什么: 只有数据管理员看到,没有进入任何会议议程。
决策点零: 是否把锚件偏离设为常规报表项。没有这一步,后面所有检测都不存在。
Q2 · 可解释的偏移
当时发生什么: 偏离 +0.6,同时该教员带飞课时增加、与学员关系较近。
容易下的结论: "他就是心软。"——这个结论无法验证,也无法干预。
正确的动作: 调取两段他给出高分的录像,与另一位教员的评分并排看;找出"哪一秒开始不同"。
决策点一: 是解释动机,还是定位行为。
Q3 · 触发干预
当时发生什么: 偏离 +1.0,超过预设干预线。
机构动作(错误版): 通报批评 + 要求"从严"。结果他把所有分数整体下调,锚点问题仍未处理。
机构动作(正确版): 一对一校准,用锚件录像逐段对齐;同时检查他是否承担了特殊人群(补考、外籍),必要时调整搭配。
决策点二: 干预的对象是"尺子"还是"态度"。
Q4 · 验证而非庆祝
当时发生什么: 偏离回落到 +0.3。
正确的解读: 这只说明"锚件对齐了",不说明"真实评估一致了"。
下一步: 抽 5 段新录像做盲评双评,算加权 kappa 与 LoA;若 LoA 仍宽,继续校准,而不是宣布完成。
反推 · 晚一步会怎样
若 Q3 没有干预,Q4 他会继续宽松化;一批本应补训的学员被判合格,进入运行。 更糟的是:其他教员会观察到"宽松没有后果",开始同步移动——个体漂移会通过社会学习变成群体漂移, 届时 ICC 可能仍然很高(大家一起漂),而系统已经整体偏移。

13.5 评估者训练:四个模块与模拟复现

评估者不是"会飞就能评"。评估本身是一项技能,需要像带飞一样分模块训练。 下面四个模块可以直接嵌入现有的教员复训。

模块科目目标模拟复现方式评估看什么
M1 观察 能在长段录像中定位"决定性行为"。 播放 10 分钟录像,要求写出 3 条带时间戳的行为证据。 证据是否可回放核对;是否混入推断与人格判断。
M2 锚点 能把行为证据映射到具体等级。 同一段录像给 3 人独立评分,再逐条对照锚点文字。 落级理由是否引用了锚点原文,而不是"感觉"。
M3 边界 能稳定处理边界案例与不合格案例。 故意放入"刚好在线上"的录像,观察给分是否摇摆。 是否给出"差一点"的具体理由;是否会为避免麻烦而抬分。
M4 反馈 能把评估结论讲给学员听,且不引发防御。 角色扮演:教员—学员对话,学员由另一位教员扮演并故意质疑。 是否先给证据再给等级;是否能把"不合格"讲成"下一步做什么"。
模拟复现的关键: 评估者训练不需要模拟机,它需要录像 + 锚点 + 另一位评估者。 最便宜有效的做法,是把本单位过去一年的真实录像剪成 10 段,建立一个小型"标准片库", 每季度让所有教员盲评一次。片库不变,人变,才能看出漂移。

13.6 评估者常见的三种错误,以及讲评怎么指出

错误一 · 用整体印象定级

"感觉他飞得挺稳"

先有结论,再回找证据。常见于经验丰富的教员——越熟练,越容易跳过证据。

  • 识别: 让他说出"哪一秒"时,回答变成"整体上看"。
  • 讲评: "先把三条行为写下来,再给等级;我们对照看看等级是否还成立。"
错误二 · 锚点漂移而不自知

"这个程度应该算 4 吧"

长期不看锚点原文,凭记忆评;记忆里的标准随最近几次评估而移动。

  • 识别: 同一段录像,隔一个月给分不同,且说不出为什么变。
  • 讲评: 把他的旧分数与新分数并排,问"这两个等级差在哪个行为上"。
错误三 · 把宽容当成善意

"差一点就让他过了"

明知不达标,但不愿承担"毁人前程"的心理压力,用抬分换取人际轻松。

  • 识别: 分数集中在合格线以上一格;从不给最低档。
  • 讲评: "你抬的这一分,会把风险转给谁?"——把后果说清楚,而不是讲道德。
变形 · 用严格掩盖不确定

"宁可错杀"

与错误三相反:因为怕担责而系统性压分,把"严格"当成免责工具。

  • 识别: 低分比例异常高,且理由多为"不够稳定"这类模糊表述。
  • 讲评: 要求给出"差一级的具体行为",给不出就重评。

讲评评估者时,同样用三段结构,但顺序要调整:先证据、再影响、最后是下一次的判断规则。

示例针对"整体印象定级"的讲评

证据: "你给 4 分,但我请你指认决定性行为时,你说了三次'整体上',没有给时间点。"

影响: "这导致另一位教员无法复核你的判断;一旦学员申诉,我们拿不出可核对的事实。"

下一次规则: "从今天起,先写三条带时间戳的证据,再落级;写不出就先不定级。"

注意:全程没有评价"你水平不行",只评价"这次判断缺了可核对的证据"。 这是评估者讲评与学员讲评的共同原则——对行为,不对人。

13.7 失败层:工作坊的四种退化

退化形态现场表现后果
变成标准答案发布会主持人逐条讲"应该给几分"。大家记住答案,不记住推理;新录像照样分歧。
变成互相批评会分歧被归因为"某人水平不行"。之后没人敢给不同分,数据趋于一致但失真。
变成一次性的活动全年只办一次,无后续抽检。效果在两个月内衰减,且无法证明是否有效。
变成没有记录的聊天讨论很热烈,没有产出锚点修订。同样的分歧下次原样重演,经验无法沉淀。
唯一的验收标准: 工作坊结束时,锚点文本有没有被改动、观察点有没有被补上。 如果文本一字未改,那么无论讨论多热烈,都只是情绪交换。
🔗

十四、与现有两篇文章的衔接

同一个主题在本工作区已有两篇相关分析。本文不重复它们的内容,而是补上"指标口径与统计边界"这一层。
文章 已经覆盖的内容 本文补充的部分 建议一起使用的方式
教员评估一致性 评估偏差类型、教员胜任力框架、5 分制标准、标准化流程、校准训练方法、评估者间信度提升策略。 三类一致性指标的适用条件、计算口径、模型选择与解读边界;kappa 悖论与 ICC 模型差异。 把它的"校准流程"作为操作层,把本文的"指标选择"作为度量层:先按它的流程做校准,再用本文的指标验证校准是否生效。
PTA 的 CBTA 数据分析方法 平台数据架构、筛选器维度、数据可视化、风险指标体系、教员校准中的平台应用。 看板上每个一致性数字"怎么算、代表什么、什么时候不能信";置信区间与样本量问题。 看板负责"持续可见",本文负责"数字可信"。看板上的"一致率 92%"必须能追到 Po、Pe、kappa 与样本量,否则只能当趋势参考。

14.1 三个可以直接接上的接口

  • 评分表 → 锚点: 《教员评估一致性》里的 5 分制标准,可以直接作为本文"行为锚定"的输入;本文补充"锚点必须可观察"的写法规则。
  • 校准训练 → 双评抽检: 把校准训练产出的"共识锚点"作为双评的判定依据;差异归因的三类(信息差/标准差/尺度差)可以直接写进抽检记录表。
  • 平台看板 → 年度体检: 用 PTA 的筛选器维度(教员、科目、批次、等级)切分样本;用本文的指标口径输出年度报告。
一致性指标不是用来证明"我们的评估很好",而是用来发现"我们的评估在哪里不稳"。
一个从不出现分歧的评估体系,通常不是因为它准确,而是因为它没有被真正检查过。
⚖️

十五、评估结果用于人事决策时的边界

一致性指标原本是为改进评估质量而设计的。一旦它被拿去做晋升、续聘、绩效、末位比较, 它的性质就变了:从"诊断工具"变成"裁决证据"。这一章讨论这个转换需要哪些前提, 以及哪些做法在伦理与程序上站不住。具体法律要求因司法辖区而异,本文只给通用原则,落地前须由本单位法务确认。

15.1 机制层:三种用途,三套规则

用途目的对分数的要求对不一致的容忍
形成性 帮助学员/教员改进。 低:可以只有 1 位评估者,可以有分歧。 高:分歧本身是讨论素材。
终结性 判定是否达到标准。 中:需要明确锚点、双评或申诉机制。 中:分歧需有裁决规则。
人事决策 晋升、续聘、岗位调整、绩效。 高:需要信度证据、程序记录、可复核。 低:不一致必须能被解释与复核,否则不能作为依据。
最常见的一处越界: 用形成性数据去做人事决策,却不告诉当事人。 这会让所有"安全报告""自我暴露"在一夜之间变成对己不利的证据,此后没人再说真话。

15.2 程序层:六个必须具备的前提

1
用途事先声明: 评分前告知"这个分数会用于什么",且不得事后扩大用途。
2
标准可获取: 锚点、权重、合格线在评估前公开,不能只在事后解释。
3
证据可复核: 每个等级能追溯到具体行为记录(录像、观察记录、时间点)。
4
申诉通道独立: 申诉由未参与原评估的人受理,且有明确时限。
5
数据最小化: 只收集与评估目的直接相关的数据;不因"以后可能有用"而长期留存。
6
访问留痕: 谁在什么时候查看了谁的评估记录,应可查询。
这六条不是法律条文,而是程序正义的最低配置。 缺少任何一条,即使分数本身很准,决策也很容易被质疑为"程序不当"。 在多数司法辖区,程序瑕疵本身就可能构成对抗评估结果的独立理由——具体依据请由法务核对本地法规。

15.3 统计层:三个容易被误用的数字

数字被误用的方式正确用法
ICC / kappa "我们的一致性是 0.85,所以对他的评分是可靠的。" 群体层面的指标,不能推出单个分数可靠;个体判断要用 SEM/MDC 与证据复核。
LoA "两位教员最多差 1 分,所以差 1 分以内都算一致。" LoA 是群体的 95% 差值范围,不是个体容忍阈值;个体差异要单独复核。
MDC95 "他的分数提高超过 MDC,说明训练有效。" MDC 只说明"变化可能不是测量误差",不说明"变化由训练导致";因果需要设计支持。
一条硬规则: 任何用于人事决策的分数,都必须能回答"如果当事人申诉,我们拿什么复核"。 答不出来,就不该用这个分数做决定。

15.4 操作层:评估记录的最小数据集

字段为什么需要缺失后的后果
评估时间、地点、科目确定情境与标准版本。无法判断用的是哪一版锚点。
评估者身份与资质判断是否有资格评此项。申诉时无法证明评估者适格。
行为证据(含时间戳)支撑每个等级。等级变成不可核对的主观判断。
锚点版本号避免"用旧标准评新要求"。标准漂移无法追溯。
分歧与裁决记录双评不一致时如何处理。裁决过程不可复现,程序受质疑。
告知与同意记录证明当事人知道用途。用途扩大时缺乏依据。
经验法则: 记录的目的不是"留证据防人",而是"让判断可以被另一个专业人士重走一遍"。 如果另一位合格评估者拿着这份记录无法复现你的判断,这份记录就是不合格的。

15.5 失败层:从"研究指标"到"绩效工具"的滑坡

第一步 · 善意引入
为了提升评估质量,开始统计教员间一致性;教员配合,因为目的是改进。
第二步 · 指标进考核
一致性被写入教员绩效。此时"给不同分"变成个人风险,教员开始向中间靠拢。
第三步 · 分数通胀
一致性上升,但区分度下降;不合格率趋近于零,"人人达标"。
第四步 · 风险外移
真实能力不足者进入运行,风险从训练系统转移到运行系统,而训练数据看起来完美。
第五步 · 信任崩塌
一旦发生事件,回溯发现评估记录"一致但空洞",教员与管理者互不信任,系统失去修复能力。
避免滑坡的唯一办法:把"评估质量指标"与"个人绩效指标"物理分开。 前者用于改锚点、改训练、改流程;后者另行设计,且不得直接引用前者的原始数值。
📋

十六、评估一致性年度体检:操作清单

把前面所有指标收拢成一套可以每年执行的动作:抽什么、抽多少、算什么、怎么读、怎么用。

16.1 抽什么:分层抽样

1
按科目分层:覆盖所有评估科目,避免只抽"容易评"的科目。
2
按教员分层:每位承担评估的教员都要被抽到,且尽量覆盖不同职级与不同基地。
3
按等级分层:刻意纳入 2 分、3 分、4 分等边缘与中间等级,不要只抽 5 分和 1 分。
4
按批次分层:覆盖不同训练批次与不同机型/阶段,避免样本集中在某一期。
5
保留困难案例:把"当时就有争议"的评估单独标记,它们是最有价值的校准材料。

16.2 抽多少:以置信区间宽度为目标

不要先拍一个"抽 10%",再算指标。正确顺序是: 先确定这个指标要多准(置信区间多宽),再反推需要多少样本。

  • 先用小规模试点估出方差与一致率水平;
  • 据此估算达到目标区间宽度所需的样本量;
  • 样本量不足时,不要报告点估计作为结论,只能作为趋势参考并注明区间;
  • 若某科目人数天然很少,合并科目报告,或多年累积后再分析。
提醒: 一致性指标的置信区间宽度同时受样本量与类别分布影响。 高合格率场景下,即使样本量不小,kappa 的区间也可能很宽。因此"抽多少"必须先看分布,不能只看总数。

16.3 算什么:一张对照表

评估产出 首算指标 同时报告 补充分析
合格 / 不合格判定 Cohen's κ(两位)或 Fleiss' κ(多位) Po、Pe、κ、置信区间、类别分布 若某一类占绝对多数,附 PABAK 或 AC1 作为敏感性参考
1–5 级胜任力评分 加权 κ(二次权重) 权重方案、Po、κw、置信区间、等级分布 同时算 ICC(2,1) 绝对一致,用于与连续口径对照
科目总分(连续) ICC(2,1) 绝对一致(双评) ICC(2,1) 与 ICC(2,k)、置信区间、SEM Bland–Altman:平均差、LoA、比例偏差、离群个案
不同教员评不同学员 ICC(1,1) 置信区间、样本异质性说明 无法推广到其他教员,结论范围必须写明
评分者数量不等 / 有缺失 Krippendorff's α α 值、置信区间(可用自助法)、缺失比例 说明 α 变体与距离度量

两份报告口径必须固定:同一指标、同一模型、同一权重,否则年度之间无法比较, 也就无法发现漂移。

16.4 怎么读:四步顺序

READ 1 · 偏差

先看方向

看评分者均值差、Bland–Altman 平均差。先确认"谁偏严、谁偏宽",这决定了后面所有解释。

READ 2 · 稳定

再看稳定性

看 kappa / ICC 与置信区间。区间太宽,说明样本不足,结论只能暂缓。

READ 3 · 界限

再看差值量级

把 LoA 与"可接受差异标准"对比。统计上一致,不等于运行上可接受。

READ 4 · 个案

最后看离群

挑出差异最大的几个案例,回到录像与锚点。它们通常指向锚点缺陷,而不是随机误差。

16.5 怎么用:三档结论与对应动作

结论档位判定依据(示意)对应动作
可接受 kappa/ICC 达到预设阈值且区间下界仍可接受;LoA 落在运行可接受范围内;无系统性漂移。 维持现有流程;继续保持半年一次标准录像复评;把结果作为效度证据留存。
需校准 平均差方向明显,或个别教员均值持续偏离;LoA 略超可接受范围;kappa 偏低但样本分布可解释。 针对偏差方向做校准训练;重写争议最大的 1–2 条锚点;扩大边缘案例抽检比例;下一季度复评。
需重做 区间宽到无法判断;多个科目一致性持续偏低且无法归因;分数分布与训练结果明显脱节。 暂停用该分数做终结性决策;重做评分表与锚点;重新培训评估者;必要时引入第三方复核。
底线: 当信度证据不足时,最危险的做法不是"报告不好看",而是"照常使用分数"。 用不可靠的分数做升级或放行决策,比承认"我们还没测准"代价大得多。

16.6 一页体检清单

1
样本:本年度双评抽检是否覆盖全部教员、全部科目,并包含足够的边缘与不合格案例?
2
口径:是否明确写出每个指标、模型、单次/平均、权重方案与置信区间?
3
偏差:是否检查了评分者均值差与 Bland–Altman 平均差,而不只是看一致率?
4
界限:是否先有"可接受差异标准",再与 LoA 对比?
5
漂移:是否用同一段固定录像做了跨年度对比?
6
归因:离群个案是否回到录像与锚点讨论,而不是直接删除?
7
用途:一致性数据是否与个人绩效排名隔离?
8
效度:是否留存了"分数与训练结果/运行表现"的关联证据,而不只停留在信度?

16.7 参考来源

统计方法原始文献

  1. Cohen, J. (1960). A coefficient of agreement for nominal scales. Educational and Psychological Measurement, 20(1), 37–46.
  2. Fleiss, J. L. (1971). Measuring nominal scale agreement among many raters. Psychological Bulletin, 76(5), 378–382.
  3. Shrout, P. E., & Fleiss, J. L. (1979). Intraclass correlations: Uses in assessing rater reliability. Psychological Bulletin, 86(2), 420–428.
  4. McGraw, K. O., & Wong, S. P. (1996). Forming inferences about some intraclass correlation coefficients. Psychological Methods, 1(1), 30–46.
  5. Bland, J. M., & Altman, D. G. (1986). Statistical methods for assessing agreement between two methods of clinical measurement. The Lancet, 327(8476), 307–310.
  6. Bland, J. M., & Altman, D. G. (1999). Measuring agreement in method comparison studies. Statistical Methods in Medical Research, 8(2), 135–160.

Kappa 悖论、解读标准与替代指标

  1. Feinstein, A. R., & Cicchetti, D. V. (1990). High agreement but low kappa: I. The problems of two paradoxes. Journal of Clinical Epidemiology, 43(6), 543–549.
  2. Cicchetti, D. V., & Feinstein, A. R. (1990). High agreement but low kappa: II. Resolving the paradoxes. Journal of Clinical Epidemiology, 43(6), 551–558.
  3. Landis, J. R., & Koch, G. G. (1977). The measurement of observer agreement for categorical data. Biometrics, 33(1), 159–174.
  4. Koo, T. K., & Li, M. Y. (2016). A guideline of selecting and reporting intraclass correlation coefficients for reliability research. Journal of Chiropractic Medicine, 15(2), 155–163.
  5. Byrt, T., Bishop, J., & Carlin, J. B. (1993). Bias, prevalence and kappa. Journal of Clinical Epidemiology, 46(5), 423–429.
  6. Gwet, K. L. (2008). Computing inter-rater reliability and its variance in the presence of high agreement. British Journal of Mathematical and Statistical Psychology, 61(1), 29–48.
  7. Krippendorff, K. (2004). Content Analysis: An Introduction to Its Methodology (2nd ed.). Sage.

训练与评估框架(仅列名称)

  1. ICAO Doc 9868《航空器驾驶员训练大纲程序》(PANS-TRG)。
  2. IATA《Evidence-Based Training Implementation Guide》(基于实证的训练实施指南)。
  3. EASA 关于基于胜任力训练与评估(CBTA)的规章与指导材料。
关于准确性: 本文的统计定义、公式结构与文献归属均已核对; 文中所有数值算例均明确标注为"示意",不是研究数据。规章与指南只写名称,不引用未经核实的条款编号。
🧠

十七、十道自测题

覆盖定义、算例、指标选择与使用边界。建议先独立作答,再展开解析;解析中会说明其他选项为什么错。
Q1
为什么 kappa 要用 (Po − Pe)/(1 − Pe) 而不是直接报告 Po?
  • A. 因为 Po 无法计算
  • B. 因为两人可能因为类别分布偏斜而"碰巧"高度一致,必须扣掉这部分
  • C. 因为 Po 总是偏大
  • D. 因为 Pe 是误差项
查看答案与解析
答案:B。 Pe 是按各自边际分布"随机独立判定"时预期的一致比例。 当两人都倾向判合格时,即使没有共同标准,也会有很高的一致率。kappa 扣掉的就是这部分机会一致。 A 错:Po 可以算;C 错:Po 不一定偏大,只是"未校正";D 错:Pe 不是误差,是期望一致。
Q2
"ICC(2,1) = 0.81"的正确解读是:
  • A. 评分有 81% 是准确的
  • B. 分数变异中约 81% 来自被评对象的真实差异,其余来自误差
  • C. 两位评分者有 81% 的条目完全同分
  • D. 81% 的学员被评为合格
查看答案与解析
答案:B。 ICC 是方差比例,不是正确率。A 把"方差占比"误读成"准确率"; C 描述的是原始一致率(Po),与 ICC 不同;D 与 ICC 无关。 注意:ICC 高不代表单个分数误差小,单个分数的误差要用 SEM 表示。
Q3
两位评分者整体上一位偏严、一位偏宽,但排序完全一致。此时通常:
  • A. 绝对一致 ICC 与一致性 ICC 数值相同
  • B. 一致性 ICC 高于绝对一致 ICC
  • C. 绝对一致 ICC 高于一致性 ICC
  • D. 两者都无法计算
查看答案与解析
答案:B。 一致性模型(ICC(3,1))允许评分者之间存在整体平移,只要求排序一致; 绝对一致模型(ICC(2,1))把这种平移计入误差,因此数值更低。 A 只在两人整体水平几乎相同时才可能近似成立(如第六章算例中 MSR≈MSE);C 方向反了。
Q4
"高一致率、低 kappa"最可能的原因是:
  • A. 评分者数量太多
  • B. 类别分布高度偏斜(大家都判同一类)
  • C. 评分量表级数太多
  • D. 样本量太大
查看答案与解析
答案:B。 这就是 kappa 悖论的第一型:边际分布偏斜使 Pe 很高, 即使 Po 很高,κ 也会被压得很低。此时应同时报告 PABAK 或 Gwet AC1,并说明分布。 A、C、D 都不会单独造成这一现象。
Q5
关于加权 kappa 的权重选择,正确的做法是:
  • A. 先看哪个权重大小好看,再选
  • B. 事先声明用线性还是二次,并在报告中固定
  • C. 两种都算,取较高的那个报告
  • D. 权重不影响结果,可以忽略
查看答案与解析
答案:B。 第六章算例中,同一份数据线性权重得 0.63、二次权重得 0.79。 权重是定义的一部分,不是可选项;事后挑选等于给自己想要的结果配方法。 若两种都想报,应同时列出并说明差异,而不是取高者。
Q6
制度规定"三人评取平均分",报告可靠性时应选:
  • A. ICC(2,1)
  • B. ICC(2,k)
  • C. ICC(3,1) 一致性
  • D. Cohen's kappa
查看答案与解析
答案:B。 制度使用的是平均分,所以可靠性要对应"平均后"的指标,即 ICC(2,k)。 如果制度是"任一人评即生效",则应报 ICC(2,1)。C 忽略了绝对一致要求;D 只适用于两位评分者的名义类别。
Q7
某评估 SEM = 0.44、MDC95 = 1.21(5 分制)。学员提高 1 分,正确结论是:
  • A. 一定代表真实进步
  • B. 无法排除测量误差,单次评估不足以判定真实变化
  • C. 说明评分系统无效
  • D. 应把合格线下调 1 分
查看答案与解析
答案:B。 MDC95 是"超出测量误差的最小变化",1 分小于 1.21, 所以不能排除误差。A 过头;C 过度推论(系统可能只是刻度粗);D 与 MDC 无关,且会降低标准。 正确做法是多次评估取平均,或改进评分精度后重算 MDC。
Q8
n=10 时算出的 LoA 为 −1.44 到 +1.04,最应该补充说明的是:
  • A. 这个区间就是总体真值
  • B. 界限本身也有置信区间,样本小时会明显更宽
  • C. LoA 越小说明评分越差
  • D. LoA 可以直接当作个体容忍阈值
查看答案与解析
答案:B。 LoA 是估计值,其标准误约为 √(3·SDdiff2/n)。 n=10 时上下限各自还有约 ±0.78 的不确定性。A 把估计当保证;C 方向反了; D 混淆了群体界限与个体判定。
Q9
"表现差的学员更常缺席复评",这属于哪种缺失机制,后果是什么?
  • A. MCAR;无影响
  • B. MAR;可用插补完全修正
  • C. MNAR;完整案例分析会系统性高估平均能力
  • D. 不属于缺失问题
查看答案与解析
答案:C。 缺失与未观测的能力值本身相关,属于非随机缺失(MNAR)。 只分析"有数据的人",等于把低分者筛掉,平均分会偏高、一致性也可能被高估。 此时任何插补都会引入偏差,必须做敏感性分析并如实报告缺失模式。
Q10
把评估一致性数据用于晋升决策,下列哪项是必要前提?
  • A. 一致性数值必须大于 0.9
  • B. 用途事先告知、标准可获取、证据可复核、申诉通道独立
  • C. 所有评分者必须给出完全相同的分数
  • D. 只使用最近一次评估的数据
查看答案与解析
答案:B。 程序正义是人事决策的前提,而不是"分数足够高"。 A 是任意阈值,且群体指标高低不能替代个体程序;C 不可能也不必要(完全一致反而可疑); D 恰恰会增加随机误差的影响。
使用建议: 教员复训用 Q1–Q5(概念与算法),质量审核用 Q6–Q8(指标选择与解释), 管理层研讨用 Q9–Q10(数据治理与程序)。答错不是问题,答错后仍按旧做法才是问题。
📖

十八、术语表(中英对照)

共 15 条,按文中出现顺序排列。英文为文献通用写法,便于检索原文。
中文英文一句话说明
科恩 κCohen's kappa两位评分者、名义类别下,扣除机会一致后的一致程度。
弗莱斯 κFleiss' kappa多位评分者、每个对象评分人数相同条件下的名义类别一致性。
加权 κweighted kappa有序类别下按"差几级"加权的 κ,分线性与二次两种权重。
患病率调整 κPABAK (prevalence-adjusted bias-adjusted kappa)针对类别偏斜与偏差校正的替代指标,数值约为 2Po−1。
克里彭多夫 αKrippendorff's alpha允许缺失与不平衡设计的通用一致性系数。
Gwet AC1 / AC2Gwet's AC1 / AC2针对 kappa 悖论设计的替代系数,偏斜分布下更稳定。
组内相关系数intraclass correlation coefficient (ICC)用方差比例度量评分可靠性的指标,需声明具体模型。
绝对一致absolute agreement要求分数数值本身可互换,评分者整体偏差计入误差。
一致性consistency只要求排序一致,允许评分者整体平移。
测量标准误standard error of measurement (SEM)单个分数偏离"真值"的典型幅度,SEM = SD×√(1−ICC)。
最小可检测变化minimal detectable change (MDC95)超出测量误差、可被认为真实变化的最小分差,约 2.77×SEM。
一致性界限limits of agreement (LoA)两次测量差值 95% 的分布范围,d̄ ± 1.96·SDdiff。
行为锚定等级评分behaviorally anchored rating scale (BARS)每个等级对应具体可观察行为样例的评分表。
评分者漂移rater drift同一评分者的标准随时间系统性移动,分宽松化、严格化与维度漂移。
范围限制range restriction样本能力过于同质导致方差变小,从而压低 ICC/kappa。
最后一个提醒: 术语不是用来显得专业的。每用一个指标,都要能回答三个问题: 它基于什么模型、它的区间是多少、它不能回答什么。答不出来,就还没到可以报数的阶段。