PSYCHOMETRICS · CTT · CBTA

心理测量学基础

Reliability · Validity · Norms · Standard Error of Measurement

评估体系里最容易发生的事,是把一个带误差的分数当成确定的能力判断。 本文只讲原理与公式含义:信度与效度的关系、经典测验理论、项目难度与区分度、 常模与标准分、测量误差与 SEM,以及 CBTA 为什么离不开这些概念。

4类信度来源
3类效度证据
2个手算算例
10道自测题
🎯

一、飞行员为什么要懂测量学

你不是统计学家,但你每天都在用测量结果做决定:谁能放单、谁能升级、谁需要补训。 不懂测量学,就只能相信数字的表面。

1.1 一个真实发生的分歧

同一名学员,在模拟机检查中两位教员分别给出 3 分和 4 分(5 级量表)。升级委员会面对两个数字, 通常会问"谁更权威",而很少问三个更基础的问题:这个 3 与 4 的差别,是能力差别,还是评分者差别? 如果同一名学员重复检查,分数会在多大范围内波动?这个分数被用来决定升级,后果是否在可承受范围?

这三个问题,正好对应测量学的三个核心概念:信度(分数稳不稳)、 测量误差(波动有多大)、效度(用它做这个决定对不对)。 它们不是学术装饰,而是人事决策的防错装置。

1.2 分数从哪来:一次测量的解剖

观测分数的构成(概念式) 观测分数 = 真实水平 + 系统性偏差 + 随机误差 真实水平是你想测的能力;系统性偏差来自评分者严宽、题目偏向、场景难易; 随机误差来自当天状态、注意力、记忆、环境。测量学要回答的是:这三部分各占多少, 以及我们能不能把"真实水平"从后面两项里分离出来。
一个关键认识: 任何一次评估的分数都不是"能力本身",而是"能力加上当次测量条件"的混合产物。 把分数当能力,是评估体系里最常见的越界。

1.3 与《评分者一致性与信效度》的分工

本目录已有一篇专门讲评分者一致性的统计方法:Cohen's κ、ICC、Bland–Altman、评分者漂移的检测。 本文不重复那些计算,而是补上它们背后的测量学地基:信度到底是什么、效度有哪几种证据、 项目分析怎么做、常模与标准分怎么解释、SEM 如何变成决策带。 两篇的关系是"地基"与"施工图":先懂原理,再谈具体指标。

问题 本文回答 《评分者一致性与信效度》回答
分数稳不稳信度的定义、四类来源、方差比例解释用 κ / ICC 具体算出一致性数值
分数准不准内容、构念、效标三类证据的论证逻辑评分者漂移与校准工作坊的操作
单个分数怎么解释SEM、置信区间、MDC 的含义绝对一致与一致性两种 ICC 口径
分数怎么用于决策常模参照 vs 标准参照、决策带双评抽检与年度体检的制度设计
📐

二、经典测验理论:X = T + E

经典测验理论(Classical Test Theory, CTT)不复杂,但它有三个容易被跳过的假设。 假设不成立时,后面所有公式都会失效。

2.1 模型与三条假设

CTT 基本方程 X = T + E

假设一:E(E) = 0  误差的期望值为零
假设二:ρ(T, E) = 0  真分数与误差不相关
假设三:ρ(E₁, E₂) = 0  不同测量之间的误差不相关 X 为观测分数,T 为真分数,E 为误差。真分数不是"绝对真理",而是同一测验无限次重复所得分数的期望值—— 这是一个操作定义,不是哲学定义。假设一说明误差不系统性偏置;假设二说明误差不挑人; 假设三说明一次测量的误差不会"记住"另一次。

由假设可直接推出方差分解:σ²X = σ²T + σ²E (因为真分数与误差不相关,协方差项为零)。这条式子是整个信度理论的地基: 观测分数的变异,被拆成"真实差异"与"误差变异"两部分。

2.2 真分数与平行测验

CTT 用"平行测验"来定义信度:两个测验如果测量同一个真分数、误差方差相同、且误差彼此独立, 就称为平行。平行测验之间的相关,就是信度系数的理论原型。 现实中几乎不存在严格平行的两份测验,所以实际操作里用"重测""复本""分半""内部一致性"来近似。

注意一个常见误解: "真分数"不等于"这个人的真实能力"。它只是"在这个测验条件下、无限次重复的期望"。 如果测验本身内容效度差,T 可能稳定地偏离真正的能力——信度高不代表测得对。

2.3 CTT 的边界

  • 样本依赖: 信度系数会随样本异质性变化。学员水平越接近,方差越小,信度越低。
  • 题目依赖: 换一套题,信度可能变;α 只反映这一套题的内部结构。
  • 单一误差: CTT 把所有误差合成一个 E,不区分"题目难"与"评分者严"。需要拆开时,要用概化理论(G 理论)或项目反应理论(IRT)。
  • 不是唯一框架: IRT 用题目参数与能力参数建模,能处理不同题目难度与测验等值;CBTA 若要做跨批次比较,IRT 更合适,但门槛更高。

本文后续公式均建立在 CTT 框架内。写报告时应注明"基于 CTT",避免把不同框架的系数混在一起解释。

🔁

三、信度:定义与四类来源

信度不是"一致性百分比",而是"真实变异占观测变异的比例"。 四种信度回答四个不同的稳定性问题,不能互相替代。

3.1 定义:一个比例,不是一顶帽子

信度系数 ρXX = σ²T / σ²X = 1 − σ²E / σ²X ρXX 介于 0 与 1 之间(理论上可为负,但实际测验中接近于 0 到 1)。 它表示观测分数变异中,有多大比例来自真实差异。0.80 意味着 80% 的变异是"真的", 20% 是误差——不是说"80% 的人评对了"。
为什么不能说"信度 0.8 就是 80% 准确": 信度是群体方差的比例, 不是个体判断的正确率。同一个 0.8 的信度,在高异质性群体里可能很够用,在几乎同质的群体里可能完全不够。

3.2 四类信度来源

类型 估计方法 误差来源 回答的问题 主要陷阱
重测信度 同一测验、间隔一段时间、两次施测求相关 时间、状态波动、练习与记忆 分数跨时间稳不稳? 间隔太短记答案,太长构念本身已变;两次施测条件不同会污染。
复本信度 两份平行版本,同一批人施测求相关 题目抽样误差 换一套等价题目,结果是否一致? 真正平行的复本极难编制;复本难度稍偏就会压低系数。
内部一致性 分半相关 + Spearman–Brown;KR-20;Cronbach α 题目异质性、题目间不一致 同一套题目内部是否测同一个东西? 只反映单次施测;题目同质但构念狭窄时 α 会虚高;不适用于速度测验。
评分者信度 独立双评求相关或一致性系数(κ/ICC) 评分者严宽、解释框架、观察片段 换一个人评,结论是否相同? 评分者互相商量后打分,会把一致性人为做高;样本分布偏斜会压低 κ。

这四类不是"选一个最高的报上去",而是分别对应时间稳定性、题目等价性、内部同质性、评分可重复性。 一份评估报告如果只报 α,就无法回答"换一个教员评会不会一样";只报评分者一致性,就无法回答"这套题内部是否一致"。

3.3 信度依赖样本:范围限制的陷阱

信度系数是在特定样本上估出来的。如果被评群体水平非常接近(例如只对"接近放单"的学员做评估), 真实差异很小,观测变异主要来自误差,信度自然低。这叫范围限制(range restriction)。

最常见的错误结论: "这批学员信度只有 0.55,说明我们的评估工具不行。" 更可能的情况是:这批学员本来就同质,工具没有足够的真实差异可分辨。 正确的做法是在样本中纳入边缘案例与明显不达标案例,再估信度。
🧮

四、内部一致性与 Cronbach α

α 是最常被引用、也最常被误读的系数。它有一个明确的公式、一个明确的前提、一串明确的误用。

4.1 公式与符号

CRONBACH'S α α = (k / (k − 1)) × (1 − Σσ²i / σ²total)

k:题目数
σ²i:第 i 题的分数方差
σ²total:总分的方差 括号内是"1 减去题目方差之和占总分方差的比例"。题目之间共享方差越多,Σσ²i 相对越小,α 越高。 当所有题目完全独立(互不共享),α 接近 0;当题目高度同质,α 接近 1。
KR-20(二分计分题) αKR20 = (k / (k − 1)) × (1 − Σpiqi / σ²total)

pi:第 i 题答对比例;qi = 1 − pi KR-20 是 α 在 0/1 计分下的特例:每题的方差就是 pi(1 − pi)。 多选题、判断题、检查单勾选项都可以用它。

4.2 α 到底在测什么

α 可以理解为"题目之间共享方差的比例",也可以理解为"所有可能分半信度的平均值"。 它成立的前提是题目测量同一个构念(单维或本质单维),且题目之间大致等价(tau-equivalence 是更严格的条件)。 在这个前提下,α 是信度的一个下限估计:真实信度通常不低于 α,但也可能更高。

一句话记法: α 高,说明"这套题内部抱团";α 低,说明"这套题各说各话"。 但"抱团"不等于"抱对了构念"——一群题可以一起测错东西。

4.3 六个常见误用

误用 1

α 高 = 单维

题目可以分成几个高度相关的小组块,整体 α 仍然很高。单维性要用因子分析或项目反应理论的结构证据,不能靠 α。

误用 2

题目越多 α 越高

α 随题目数增加而升高,这是 Spearman–Brown 的必然结果。为了 α 好看而堆同义题,会损害内容效度。

误用 3

反向题不处理

反向计分题若未正确编码,会与其余题目负相关,直接压低 α。先检查题目-总分相关,再解释 α。

误用 4

速度测验用 α

限时测验中,未答完的题目会造成"题目间不一致"的假象。速度测验应报重测或复本信度。

误用 5

删题只看 α

删掉一道与其他题相关低的题,α 会升,但可能删掉了唯一覆盖关键内容的题。信度与内容效度要一起看。

误用 6

把 α 当个人精度

α 是群体指标,不能推出"某个人的分数误差有多大"。个体精度要用 SEM。

4.4 Spearman–Brown:加题能提高多少信度

SPEARMAN–BROWN prophecy rk = (k × r1) / (1 + (k − 1) × r1) r1 是原测验信度,k 是题目数变为原来的几倍,rk 是加长后的信度。 例:原 5 题 α = 0.625,题目翻倍到 10 题,r = (2 × 0.625) / (1 + 0.625) = 0.769。 这是"假设新题与旧题等价"的估计,不是保证。

这条公式有一个重要含义:信度提升有上限。原信度越低,加题收益越明显,但永远到不了 1; 原信度已经很高时,再加题几乎没有意义。更有效的做法通常是改题目质量与评分锚点,而不是无限加题。

👥

五、评分者信度在测量学中的位置

在 CBTA 里,评分者不是"测量过程的旁观者",而是测量工具的一部分。 评分者信度不是附加项,它决定了总分信度的上限。

5.1 评分者误差如何进入分数

含评分者的分数分解 X = T + R + (T×R) + E

T:学员真实表现 R:评分者严宽(系统性)
T×R:评分者与学员的交互(某教员对某类学员特别严) E:随机误差 这一分解说明:即使学员表现完全不变,换一个评分者,分数也会变。 若 R 与交互项占比大,总分信度就会被"评分者噪声"封顶,靠加题也救不回来。

这也解释了一个常见现象:一套评分表内部一致性很高(α 好),但两位教员给出的总分差异很大。 α 只测了"题目之间",没测"评分者之间"。两类信度必须分开报告。

5.2 设计决定信度:四种常见安排

设计能估计什么优点代价
单评无法估计评分者信度成本最低评分者误差完全混入分数,无法分离
独立双评评分者间一致性、绝对一致可估误差、可做仲裁人力翻倍;两位评分者需真正独立
部分双评抽检整体评分者信度(抽样估计)成本可控,可纵向监控不能给出每个人的评分误差
评分者校准后单评校准后的一致性运行成本低校准效果会漂移,需定期复训与抽检
一个易被忽略的设计问题: 两位评分者"讨论后达成一致",得到的不是独立双评, 而是一次共识评分。它可以提高决策接受度,但不能用来估计评分者信度——因为独立性已经被破坏。

5.3 与具体统计方法的分工

评分者信度的具体计算(Cohen's κ、Fleiss' κ、加权 κ、ICC、Bland–Altman)在 评分者一致性与信效度 一文中已完整展开。 本文只需要记住三条测量学结论:

  • 评分者信度是总分信度的组成部分: 它低,总分信度就低,且不能靠增加题目补救。
  • 一致性 ≠ 绝对一致: 排序一致(consistency)不代表分数可互换(absolute agreement),人事决策通常需要后者。
  • 一致性会被样本分布扭曲: 高合格率样本会压低 κ,不能直接读成"评分不可靠"。
🎯

六、效度是论证,不是系数

效度不是"测验自带的属性",而是"分数解释与用途"的属性。 同一份分数,用来做训练诊断可能有效,用来做淘汰可能无效。

6.1 Messick 的统一效度观

Messick 在 1989 年提出,效度不是几种"类型"的拼盘,而是一个整体论证: 分数解释是否有理论依据、是否与外部证据一致、后果是否可接受。 他把效度分为内容、构念、效标、后果等方面,但这些方面不是可以互相替代的"证据类型", 而是同一个论证的不同侧面。

最重要的转变: 不要问"这个测验有效吗",要问"用这个分数做这个解释、支持这个决定,有没有足够证据"。 同一套测评,用于"训练需求诊断"与用于"淘汰"所需的证据强度完全不同。

6.2 三类核心证据

证据类型 回答的问题 常用方法 不能证明什么
内容效度 题目是否覆盖了目标领域的全部重要内容? 双向细目表、任务分析、专家评定、内容覆盖指数 不能证明分数与真实运行表现相关
构念效度 分数是否反映了理论上的构念? 因子结构、聚合与区分效度、已知组比较、干预反应 不能证明构念本身选对了;理论错,证据也会"自洽地错"
效标效度 分数能否预测或关联某个外部标准? 同时效度、预测效度、相关系数、ROC/决策分析 不能证明因果;效标本身可能被污染或缺失
表面效度(face validity)不是效度证据。 题目"看起来像那么回事"只影响接受度, 不构成任何心理测量学证据。它有用,但不能用来替代上面三类。

6.3 效度论证的四个问题

Q1

构念定义清楚吗

要测的"情景意识"是否有可观察的行为定义?定义含糊,后面所有证据都无从谈起。

Q2

内容覆盖完整吗

行为指标是否覆盖了构念的关键方面?是否遗漏了高风险场景?

Q3

内部结构一致吗

指标之间的相关模式是否符合理论预期?有没有"方法效应"在主导?

Q4

外部关联成立吗

分数与教员独立评级、QAR、LOSA、事件率是否有合理方向的关系?

📋

七、内容效度:蓝本与覆盖

内容效度回答一个很朴素的问题:这张卷子/这套评分表,有没有考到该考的东西。 它靠的是"蓝本"与"专家判断",不是相关系数。

7.1 双向细目表:把"该考的"写出来

双向细目表(test blueprint)是一张二维表:一个维度是内容领域(例如飞行阶段、系统知识、胜任力要素), 另一个维度是行为层级(知道、理解、应用、决策)。每个格子写明题目数量或权重。 它的作用不是"分题",而是把"覆盖"从感觉变成可核对的结构。

内容领域 \ 层级知道理解应用决策合计权重
正常程序233125%
非正常程序224335%
机组协作123225%
威胁与差错管理112215%

表中数字是示意,不是标准权重。实际权重应来自任务分析(job task analysis)与本单位运行数据, 而不是照搬别的公司或别的机型的蓝本。

7.2 内容覆盖指数(CVI)

内容效度指数 I-CVI = 评为"相关"的专家数 / 专家总数

S-CVI/Ave = 各题 I-CVI 的平均
S-CVI/UA = 全部专家都评为"相关"的题目数 / 题目总数 I-CVI 是单题层面的内容效度;S-CVI/Ave 是整套题的平均水平;S-CVI/UA 是"全体一致"的比例。 Polit 与 Beck 建议 I-CVI 不低于 0.78、S-CVI/Ave 不低于 0.90(专家人数较少时更严格), 但这些是方法学建议,不是法规阈值,应结合专家数量与领域复杂度判断。
示意算例5 位专家、10 道题

假设 5 位专家对 10 道题逐题判断"是否与目标构念相关"。其中 8 道题有 4 位以上专家评为相关(I-CVI ≥ 0.80), 2 道题只有 3 位专家认可(I-CVI = 0.60)。

S-CVI/Ave = (8 × 0.80 + 2 × 0.60) / 10 = (6.4 + 1.2) / 10 = 0.76。

S-CVI/UA = 全部 5 位专家都认可的题目数 / 10。若这 8 道题中有 6 道获得全票,则 S-CVI/UA = 0.60。

以上为说明计算逻辑的示意数据。实际应用中应先修订低 I-CVI 题目,再重新评定,而不是直接把均值报上去。

7.3 CBTA 中的内容效度

CBTA 的"题目"不是选择题,而是场景 + 可观察行为 + 评分锚点。 内容效度在这里表现为三件事:

  • 构念覆盖: 九项胜任力是否都有对应的行为指标与场景,而不是只评容易观察的那几项。
  • 场景代表性: 模拟机场景是否覆盖了该阶段的关键威胁与差错,而不是只考"好飞的科目"。
  • 层级匹配: 评分要求的是"应用/决策",场景却只触发"知道/理解",层级错配会让分数虚高。
最常见的伪内容效度: 请几位资深教员"看一遍觉得合理"。 这只是表面效度。真正的内容效度需要书面的蓝本、逐项映射表、以及独立专家的判断记录。
🧩

八、构念效度:分数是否反映理论构念

构念效度是最抽象、也最容易被糊弄的一类。它的核心不是"算出一个数",而是"证据网络是否收束"。

8.1 构念与名义网络

Cronbach 与 Meehl 在 1955 年提出"名义网络"(nomological network): 一个构念的意义,来自它与其它构念、可观察行为、前因后果之间的关系网络。 "情景意识"之所以有意义,是因为它与"注意力分配""工作负荷""决策质量""威胁识别"有理论上的联系; 如果测评分数与这些变量全都无关,那它测的就不是情景意识。

构念效度的证据结构(概念式) 分数 ↔ 同构念的其它测量(聚合)
分数 ↮ 不同构念的测量(区分)
分数 ← 理论前因(可预测)
分数 → 理论后果(可解释) "↔"表示应呈正相关,"↮"表示相关应显著更低。聚合与区分要同时成立,才有构念效度; 只有聚合没有区分,说明分数可能被"方法效应"或" halo 效应"主导。

8.2 常用证据与方法

内部结构

因子分析

探索性因子分析看维度是否按理论聚合;验证性因子分析检验预设模型拟合。注意:拟合指标好不等于构念定义正确。

聚合

与同构念测量相关

新评分表与已有的成熟测量(教员独立评级、同伴评价)应呈合理正相关。

区分

与不同构念区分

与"一般智力""经验年资"等相关应明显较低,否则测的是别的变量。

已知组

已知组比较

高训练水平组与低训练水平组的分数应有方向性差异;但年资差异不能直接当构念证据。

干预反应

训练前后变化

针对性训练后分数应变化,且变化与训练内容对应;这是"分数对干预敏感"的证据。

多质多法

MTMM

用多种方法测多个特质,检验"特质效应"是否大于"方法效应"。CBTA 里方法效应常来自同一教员同时评多项。

8.3 CBTA 构念效度的三个难点

  • 不可直接观察: 情景意识、工作负荷管理都靠行为推断。指标选得不好,测到的是"表演"而不是"能力"。
  • 维度高度相关: 九项胜任力在真实表现中互相缠绕,因子分析常得到一个"一般胜任力"因子。此时要区分"理论维度"与"统计维度"。
  • 评分者即方法: 同一教员评所有维度,会产生方法效应(halo)。需要用多评分者、多场景、多时点来分离。
一个务实的判断: 如果资源只够做一件事,先做区分效度——确认你的评分没有把"听话""资历""表达流利"当成"胜任力"。 这比追求漂亮的因子拟合更有运行价值。
📈

九、效标效度:分数与外部标准的关系

效标效度回答"分数能不能预测/关联某个外部标准"。它最像"硬证据", 但也最容易因为效标本身不干净而误导。

9.1 同时效度与预测效度

同时效度(concurrent)

  • 测评与效标在同一时间点收集
  • 回答"现在能不能区分不同表现水平"
  • 适合诊断、分班、现职评估
  • 无法回答"未来会不会出问题"

预测效度(predictive)

  • 测评在先,效标在后(数月至数年)
  • 回答"现在的高分能否预测未来的好表现"
  • 适合选拔、升级预测
  • 周期长、样本流失、效标漂移

两者的区别不只是时间顺序,而是用途。用同时效度的证据去支持"选拔淘汰", 在逻辑上是不成立的——你证明的是"现在能区分",不是"未来能预测"。

9.2 效标的质量:污染与缺失

问题含义航空场景示例
效标污染效标里混入了与目标能力无关的成分用"教员印象分"当效标,其中混入资历、态度、表达能力
效标缺失效标没有覆盖目标能力的关键方面只用 QAR 超限事件当效标,测不到决策质量与协作
效标不稳效标本身信度低或事件率极低严重事件极少发生,年度事件率无法稳定区分个体
效标漂移效标标准随时间变化公司收紧/放宽事件判定,导致同一行为在不同年份被不同对待

因此,效标效度的第一项工作不是"算相关",而是定义并验证效标。 如果效标本身不可靠,算出来的相关系数只是"两个噪声的相关"。

9.3 相关系数与解释方差

效标关联效度 rxy = 测评分数与效标分数的皮尔逊相关
r²xy = 决定系数 = 测评能解释的效标变异比例

衰减校正:rtrue = robs / √(rxx × ryy) rxx 为测评信度,ryy 为效标信度。观测相关会被两边的测量误差同时压低, 校正后才是"理论上限"。但校正只能修误差,不能修效标污染与范围限制。
示意算例相关 0.40 意味着什么

假设某测评与后续教员评级的观测相关为 r = 0.40,则 r² = 0.16。也就是说,测评分数只能解释效标变异的 16%, 剩下 84% 来自其它因素(经验、训练、场景、评分者、随机波动)。

若测评信度为 0.80、效标信度为 0.80,则衰减校正后 rtrue = 0.40 / √(0.80 × 0.80) = 0.40 / 0.80 = 0.50, r² = 0.25。校正后解释力提高,但仍意味着 75% 的变异未被解释。

示意数据,用于说明计算口径,不是真实研究结果。报告效度时必须同时写 r、r²、样本量、效标定义与是否校正。
不要用 r 当命中率。 r = 0.40 不表示"40% 的人被选对"。 命中率取决于基率、 cut score 与决策规则,必须单独做决策分析(见第十七章自测题 Q5)。
🧪

十、项目难度与区分度

题目(项目)层面的两个基本参数:难度与区分度。它们决定了这套题能不能把人分开, 也决定了总分信度的上限。

10.1 难度:不是"难不难",而是"通过率"

项目难度 P = 答对该题的人数 / 总人数 (或该题平均得分 / 该题满分) P 越大,题目越容易。P = 1 表示所有人都对,P = 0 表示所有人都错。 对 1–5 级评分的项目,"难度"可理解为平均等级 ÷ 满分等级,反映该指标的宽松程度。

难度直接决定题目方差:二分题的方差为 P(1 − P),在 P = 0.5 时最大,在 P 接近 0 或 1 时趋近于 0。 题目方差太小,总分方差就小,信度自然低。这就是"全员都满分"的评估看起来很好、实际上没有信息量的原因。

10.2 区分度:高分组与低分组的差

区分度(D 指数) D = P高 − P低

P高:总分前 27% 的学员在该题的通过率
P低:总分后 27% 的学员在该题的通过率 D 介于 −1 与 1。D 为正说明高分组更可能答对,题目在"往正确方向区分"; D 接近 0 说明题目不区分;D 为负说明题目可能表述有歧义、答案键错误,或高分组被误导。 27% 是常用分组比例,也可用 25% 或 33%,但必须在报告中说明。
题目-总分相关(点二列相关) rpb = [(M1 − M0) / SDtotal] × √(p / q) M1 为答对该题者的总分均值,M0 为答错者的总分均值,p 为答对比例,q = 1 − p, SDtotal 为总分标准差。它比 D 更充分利用全部样本,是更稳定的区分度指标。

10.3 难度与区分度的关系

两者不是独立的。P 太极端时,D 的上限会被压缩:如果 95% 的人都答对, 高分组与低分组的通过率都接近 95%,差值不可能大。反过来,P 接近 0.5 时,D 才有较大空间。 所以项目分析要同时看 P 与 D,不能只看其中一个。

一个反直觉的例子: 某题 P = 0.33、方差不小,但 D = 0.07——它有变异,却没有区分力。 这说明"有方差"是区分度的必要条件,不是充分条件。题目可能在考"猜题技巧"或表述含糊。

10.4 CBTA 等级评分的"项目分析"

  • 端点使用率: 如果 1 分与 5 分几乎不用,量表实际上只有 3 个点在工作,精度被压缩。
  • 等级分布: 大量集中在 3 分("中庸分"),说明锚点没有区分力,或教员不愿给极端分。
  • 维度-总分相关: 每个行为指标与总评分的相关应适中;过高说明冗余,过低说明该指标与整体构念脱节。
  • 难度漂移: 同一指标在不同批次的平均等级持续上升,可能是标准松动(见评分者漂移)。
📊

十一、常模与标准分

标准分解决"不同量尺不可比"的问题;常模解决"这个分数在人群中处于什么位置"的问题。 两者都不是"绝对能力"。

11.1 三种标准分

标准分换算 z = (X − M) / SD
T = 50 + 10z
stanine(九分制)≈ 5 + 2z,四舍五入后截断在 1–9
百分等级(percentile rank)= 低于该分数的人数比例 × 100 X 为原始分,M 为常模均值,SD 为常模标准差。z 的均值 0、标准差 1; T 的均值 50、标准差 10;stanine 的均值 5、标准差 2。百分等级是"位置",不是"正确率"。
示意算例原始分 78,常模均值 70、标准差 8

z = (78 − 70) / 8 = 1.00。T = 50 + 10 × 1.00 = 60。stanine ≈ 5 + 2 × 1.00 = 7。

若分数近似正态分布,z = 1.00 对应的百分等级约为 84——意思是"约 84% 的人低于这个分数", 不是说"这个人答对了 84% 的题"。

示意数据。百分等级依赖分布形态,偏态分布时不能直接按正态表换算。

11.2 常模参照与标准参照

常模参照(norm-referenced)

  • 解释:个体在群体中的相对位置
  • 用途:选拔、排序、分班
  • 风险:常模过时、样本不代表、文化偏差
  • 不能回答"他会不会做这件事"

标准参照(criterion-referenced)

  • 解释:个体是否达到绝对标准
  • 用途:合格判定、放单、胜任力认证
  • 风险:标准设定缺乏证据、标准漂移
  • 不关心"别人怎么样",只关心"够不够"
CBTA 是标准参照,不是常模参照。 用"同期学员排名前 80% 就能放单"来代替"达到行为标准", 是把合格线交给了样本分布。样本整体变差时,合格线会跟着下降——这是最隐蔽的标准漂移。

11.3 常模的四个质量要求

代表性

样本与目标人群一致

机型、基地、年龄、训练阶段应匹配;用国外航司常模解释本国学员分数,误差会被放大。

时效性

常模会过时

训练体系、选拔标准、机队结构变化后,旧常模不再适用。建议明确更新周期与责任部门。

稳定性

样本量足够

样本太小,均值与标准差本身就不稳,标准分的解释随之失真。

可追溯

换算规则公开

原始分到标准分的公式、取整规则、缺失值处理都应留档,否则分数无法复核。

📏

十二、测量误差与 SEM

信度是群体指标,SEM 才是个体指标。它回答"这个人的分数,可能偏离真值多远"。

12.1 公式与含义

测量标准误 SEM = SDX × √(1 − rXX)

SDX:观测分数的标准差
rXX:信度系数 SEM 是"误差分数的标准差"。它越大,单个分数越不可信。 注意:SEM 与被评者的分数高低无关(CTT 假设误差方差对所有人相同), 但不同人群、不同评估条件下 SEM 会不同,不能跨人群套用。
置信区间与最小可检测变化 95% 置信区间 ≈ X ± 1.96 × SEM

两次测量的差值标准误:SEMdiff = √(SEM1² + SEM2²)
最小可检测变化:MDC95 = 1.96 × √2 × SEM ≈ 2.77 × SEM 当两次分数之差小于 MDC95 时,这个差异很可能只是测量误差,不能据此判断"进步了"或"退步了"。 这对复训前后、年度复评、两次模拟机检查的比较尤其重要。

12.2 把分数变成决策带

假设合格线是 80 分,SEM = 3 分。那么 95% 置信区间约为 ±5.9 分。 一个观测分数 78 的人,其真值可能落在 72–84 之间;一个观测 82 的人,真值可能落在 76–88 之间。 两个人的"真实水平"区间大面积重叠,用 80 分一刀切,会产生大量误判。

运行上的做法: 在合格线附近设置"决策不确定带"(例如 80 ± 1.96 SEM)。 落入带内的案例,不直接判合格/不合格,而是走补充证据:第二次评估、独立复核、更多场景观察。 这不是降低标准,而是承认测量有误差。

12.3 SEM 不能做什么

  • 不能修系统偏差: 如果全体教员都偏宽,SEM 只描述波动,不修正整体偏移。
  • 不能替代效度: 一个稳定地测错东西的工具,SEM 可以很小。
  • 不能跨人群直接套用: 学员群体与现役机长群体的 SD 不同,SEM 也不同。
  • 不能用于单题: SEM 是总分层面的;单题误差通常更大,需单独分析。
🧮

十三、算例一:手算 α、SEM 与 MDC

一个 5 题量表,已知题目方差与总分方差,手算 Cronbach α、SEM、95% 置信区间与最小可检测变化。 所有数字均为示意,用于核对计算口径。

13.1 已知条件

示意数据 题目数 k = 5
各题方差:1.2、1.4、1.0、1.3、1.1 → Σσ²i = 6.0
总分方差 σ²total = 12.0 → SD = √12.0 ≈ 3.464 这些数字是构造出来的,不对应任何真实量表。真实计算应使用同一批学员的作答数据。

13.2 第一步:算 α

CRONBACH'S α α = (k / (k − 1)) × (1 − Σσ²i / σ²total)
α = (5 / 4) × (1 − 6.0 / 12.0)
α = 1.25 × (1 − 0.50)
α = 1.25 × 0.50 = 0.625 解释:观测总分变异中约 62.5% 可归因于真实差异,37.5% 是误差。这个水平对高风险人事决策偏低。

13.3 第二步:算 SEM 与置信区间

SEM SEM = SD × √(1 − α)
SEM = 3.464 × √(1 − 0.625)
SEM = 3.464 × √0.375
SEM = 3.464 × 0.6124 ≈ 2.12 分

95% 置信区间 = 1.96 × SEM = 1.96 × 2.12 ≈ ±4.16 分
MDC95 = 2.77 × SEM = 2.77 × 2.12 ≈ 5.88 分 含义:一个观测 70 分的人,95% 区间约为 65.8–74.2;两次评估相差不到 5.88 分,不能称为"真实变化"。

13.4 第三步:加题能提高多少

SPEARMAN–BROWN(题目翻倍) r2 = (2 × 0.625) / (1 + 0.625)
r2 = 1.25 / 1.625 ≈ 0.769 信度从 0.625 升到约 0.769,仍未达到 0.80。继续加到 15 题:r3 = (3 × 0.625)/(1 + 2 × 0.625) = 1.875/2.25 ≈ 0.833。 但这是"新题与旧题等价"的假设,实际收益取决于新题质量。
一个容易被忽略的点: 信度提高不等于 SEM 的绝对分数一定变小。 SEM = SD × √(1 − r),如果加题同时把总分尺度拉宽(SD 变大),SEM 的绝对值可能不降。 只有在总分尺度固定(例如百分制、SD 固定)时,信度提高才会直接带来 SEM 下降: 例如 SD = 15 时,r = 0.625 → SEM ≈ 9.19;r = 0.769 → SEM ≈ 7.21。
📐

十四、算例二:项目分析与效标关联

用同一批 100 名学员的示意数据,演示难度 P、区分度 D、题目方差,以及效标相关系数的解释。

14.1 已知条件

示意数据 学员总数 N = 100
按总分取前 27 人与后 27 人(各 27%)
三道路面知识题 A、B、C 的作答情况如下 分组比例取 27% 是项目分析的常用做法;不同比例会改变 D 的具体数值,因此报告必须注明。

14.2 逐题计算

题目 高分组答对 低分组答对 P = 合计/54 D = 差值/27 题目方差 P(1−P) 判断
A24 / 2712 / 27 36/54 ≈ 0.66712/27 ≈ 0.444≈ 0.222 区分良好
B10 / 278 / 27 18/54 ≈ 0.3332/27 ≈ 0.074≈ 0.222 区分差
C26 / 2720 / 27 46/54 ≈ 0.8526/27 ≈ 0.222≈ 0.126 偏易

读数要点:

  • 题目 A: 难度适中(P ≈ 0.67),区分度较好(D ≈ 0.44),是"能干活"的题。
  • 题目 B: 难度也适中,方差与 A 相同,但 D 只有 0.074——有变异、无区分。需要检查表述歧义、答案键、或是否在考"猜"。
  • 题目 C: P ≈ 0.85 偏易,方差小,但仍有 0.222 的区分度。可以保留作为"基础掌握"检查,但不应占比过高。
教学要点: 题目方差大是区分度的必要条件,不是充分条件。B 题与 A 题方差相同,区分度却差了六倍, 说明"有变化"不代表"变化方向对"。

14.3 效标关联与解释力

示意数据:测评与后续教员评级的关联 观测相关 robs = 0.40
r² = 0.40² = 0.16 → 解释 16% 的效标变异

测评信度 rxx = 0.80,效标信度 ryy = 0.80
衰减校正:rtrue = 0.40 / √(0.80 × 0.80) = 0.40 / 0.80 = 0.50
校正后 r² = 0.50² = 0.25 校正只修测量误差,不修效标污染、范围限制与样本偏差。报告时应同时写明校正前后数值。

这组数字的运行含义是:即使校正后,测评也只能解释约四分之一的效标变异。 它不足以单独决定升级,但足以作为多重证据中的一项,用于提示"哪些人需要更多观察"。 把 r = 0.50 读成"一半能选对",是把相关系数当命中率,属于典型误读。

再看一个陷阱: 如果选拔只取分数最高的 10%,样本在测评分数上被截断(范围限制), 后续算出的效度系数会被压低。这不是工具变差,而是样本变异变小。校正需要范围限制公式, 且必须基于未入选者的分布信息,不能凭感觉"往上调"。
🛫

十五、CBTA 为什么依赖这些概念

CBTA 的评估链条是:构念 → 行为指标 → 观察评分 → 组合与决策。 四个环节各自对应一类测量学要求,缺一环,分数就不能用于人事决定。

15.1 四个环节与四类证据

环节测量学要求具体做法缺失后果
构念定义构念效度(理论层面)用可观察行为定义每项胜任力;写清"什么表现算达到"评分退化为印象判断
行为指标内容效度蓝本映射、专家评定、场景覆盖检查只评容易看的维度,漏掉关键能力
观察评分评分者信度 + 项目分析锚点、双评抽检、端点使用率、维度-总分相关分数随人变,合格线失真
组合与决策效标效度 + SEM定义效标、决策带、多重证据、交叉验证用噪声做升级/淘汰决定

这就是为什么 CBTA 不能只做"评分表 + 教员培训"。评分表解决内容与锚点, 教员培训解决评分者信度,但构念定义、效标证据与决策规则必须由评估体系的设计者负责。

15.2 十类常见误用

#误用为什么错正确做法
1α 高就认定单维题目组块可产生高 α;单维性需要结构证据做因子分析或 IRT 结构检验
2把 r 当命中率r 是效应量;命中率取决于基率与 cut score单独做决策分析(敏感度/特异度/PPV)
3忽略范围限制同质样本压低信度与效度系数纳入边缘案例;报告样本分布;必要时校正
4常模混用或过时机型、基地、训练体系不同,标准分不可比建立本单位常模并定期更新
5单次评分做高风险决策单次分数的误差带很宽决策带 + 补充证据 + 复核
6把表面效度当效度"看起来合理"不构成证据蓝本、专家评定、外部效标
7只看 p 值不看效应量大样本下微小差异也显著报 r、r²、置信区间与 SEM
8多重比较后挑最亮的反复筛选会放大偶然结果预先设定假设;交叉验证
9把等级当等距1–5 级之间的距离不一定相等用有序模型或明确加权规则
10用平均分掩盖维度缺陷补偿式组合会让"强项拉平弱项"关键维度设非补偿规则(一票否决)
误用 10 最值得警惕: 一名学员"程序应用"很强、"情景意识"很弱,平均分仍可能过线。 但运行中决定安全的往往是最弱的那一环。组合规则必须事先声明,不能等看到分数再决定怎么加。
🎓

十六、训练落地与可打印检查单

测量学不是"统计部门的事"。教员、标准制定者、升级委员会都需要一套共同语言, 否则同一份报告会被读出三种意思。

16.1 三小时工作坊设计

0:00–0:30

概念对齐

用一次真实分歧(同一学员两个分数)引出信度、误差、效度三问;不讲公式推导。

0:30–1:30

手算算例

用本文算例让教员亲手算 α、SEM、MDC;重点体会"5.88 分以内不算变化"。

1:30–2:15

本校数据

拿本单位的等级分布、端点使用率、双评差异做现场解读;不点名、不追责。

2:15–3:00

决策演练

给出三个"卡在合格线附近"的案例,让各组用决策带与多重证据做判断,再比对结论。

16.2 可打印检查单

1
构念:每项胜任力都有可观察行为定义,且写明"达到/未达到"的分界。
2
蓝本:有书面的内容×层级细目表,权重来自任务分析而非照搬。
3
场景:覆盖关键威胁与差错,而不是只选"好飞"的科目。
4
锚点:每个等级有具体行为样例,教员能指着行为说话,而不是凭印象。
5
评分者:有独立双评或抽检机制;评分者校准有记录、有复训周期。
6
信度:报告 α(或 KR-20)与评分者一致性,并注明样本与范围限制。
7
误差:报告 SEM 与 95% 区间;合格线附近设置决策不确定带。
8
效标:写明效标定义、来源、信度与污染风险;区分同时效度与预测效度。
9
常模:若使用标准分,注明常模年份、样本与适用人群;CBTA 合格判定用标准参照。
10
决策:组合规则事先声明;关键维度是否有非补偿规则;申诉与复核通道是否独立。

16.3 一页纸报告模板

评估质量摘要(建议格式)

  • 构念与用途:测什么、给谁看、支持什么决定。
  • 样本:人数、训练阶段、机型、范围限制说明。
  • 信度:α 或 KR-20;评分者一致性;各自样本与口径。
  • 误差:SD、SEM、95% 区间、MDC。
  • 效度:内容证据(蓝本/专家)、构念证据(结构/聚合区分)、效标证据(r、r²、校正)。
  • 决策规则:cut score、决策带、组合规则、复核路径。
  • 边界:这份分数不能支持哪些结论。
报告的最低标准: 任何一个数字,都要能被第三个没参与评估的人复算出来。 做不到,就说明口径还没写清。
✅

十七、十道自测题

前五题考概念与公式,后五题考解释与决策。答对不等于会用,能在本单位数据上算一遍才算。
Q1
某量表 Cronbach α = 0.85,正确解释是?
  • A. 85% 的题目是正确的
  • B. 观测分数变异中约 85% 可归因于真实差异
  • C. 85% 的学员达到合格标准
  • D. 两位评分者的一致率为 85%
查看答案与解析
答案:B。α 是方差比例,不是正确率、合格率或评分者一致率。A/C/D 都把群体统计量误读成了比例或判断正确率。
Q2
下列哪种情况最适合用重测信度?
  • A. 限时速度测验
  • B. 测量稳定能力倾向、且间隔期内构念不应明显变化
  • C. 一次性的情景判断测验
  • D. 评分者刚讨论完评分标准
查看答案与解析
答案:B。重测信度测"跨时间稳定性",要求构念本身在间隔期内不因学习或训练而改变。速度测验受练习效应影响;一次性情境测验无法重复;评分者讨论后评分破坏独立性。
Q3
关于效度,下列说法正确的是?
  • A. 效度是测验本身固有的属性
  • B. 只要信度高,效度一定高
  • C. 效度是分数解释与用途的属性,需要证据论证
  • D. 表面效度高就说明效度高
查看答案与解析
答案:C。效度针对"解释与用途",同一分数用于诊断与用于淘汰所需证据不同。信度是必要条件而非充分条件;表面效度只是接受度,不是效度证据。
Q4
某测验总分 SD = 12,信度 r = 0.75,SEM 约为?
  • A. 3.0
  • B. 6.0
  • C. 9.0
  • D. 12.0
查看答案与解析
答案:B。SEM = 12 × √(1 − 0.75) = 12 × 0.5 = 6.0。注意先算 1 − r,再开方,不能直接拿 SD 乘 r。
Q5
测评与效标的相关系数 r = 0.30,r² 等于多少,含义是什么?
  • A. 0.30;解释 30% 的效标变异
  • B. 0.09;解释 9% 的效标变异
  • C. 0.60;解释 60% 的效标变异
  • D. 0.09;30% 的人会被选对
查看答案与解析
答案:B。r² = 0.09,即测评解释约 9% 的效标变异。相关系数不是命中率,D 的"30% 的人被选对"没有依据。
Q6
某题难度 P = 0.95,最可能出现的问题是?
  • A. 题目方差过大,信度虚高
  • B. 题目方差很小,区分度上限被压缩
  • C. 该题一定会拉低内容效度
  • D. 该题区分度一定为负
查看答案与解析
答案:B。P = 0.95 时方差为 0.95 × 0.05 ≈ 0.0475,可区分空间很小,D 的上限被压缩。它不必然损害内容效度,也不必然出现负区分度。
Q7
CBTA 的放单合格判定,应当采用哪种解释框架?
  • A. 常模参照,按同期排名划线
  • B. 标准参照,对照事先定义的绝对行为标准
  • C. 按平均分排序,取前 80%
  • D. 按教员的整体印象投票
查看答案与解析
答案:B。CBTA 判定"是否达到胜任力标准",属于标准参照。A/C 会把合格线交给样本分布,样本变差时标准随之下移;D 缺乏行为锚点与信度控制。
Q8
评分者信度很低时,下列哪种做法最无效?
  • A. 校准评分者、统一锚点
  • B. 独立双评并做仲裁
  • C. 单纯增加题目数量
  • D. 监控评分者均值与分布
查看答案与解析
答案:C。评分者误差会封顶总分信度,加题只能减少题目抽样误差,无法消除评分者严宽与交互效应。A/B/D 都直接针对评分者误差。
Q9
要建立一套 CBTA 评分表的内容效度证据,最合适的做法是?
  • A. 让几位资深教员看一遍,觉得合理即可
  • B. 计算 Cronbach α,α 高就说明内容覆盖好
  • C. 用书面蓝本做构念-指标-场景映射,并由独立专家逐项评定
  • D. 与另一家航司的评分表对比条目数量
查看答案与解析
答案:C。内容效度靠蓝本、映射与专家判断。A 只是表面效度;α 测内部一致性,不测覆盖;D 与覆盖无关,条目数量多不代表覆盖全。
Q10
一名学员观测分数 79,合格线 80,SEM = 3。最合理的处理是?
  • A. 直接判不合格,因为低于 80
  • B. 直接判合格,四舍五入到 80
  • C. 落入决策不确定带,补充证据后再判
  • D. 换一个更宽松的评分者重评,取较高分
查看答案与解析
答案:C。79 落在 80 ± 1.96 × 3(约 ±5.9)的不确定带内,单次分数不足以支撑高风险判定。A/B 忽略误差;D 是挑选评分者,破坏评估公正性。正确做法是补充场景、独立复核或第二次评估。
使用建议: 教员培训用 Q1–Q6(概念与公式),评估方案评审用 Q7–Q10(解释与决策)。 答错不可怕,可怕的是答错之后仍然按旧口径报数。
📖

十八、术语表与参考来源

15 条术语按文中出现顺序排列;英文为文献通用写法,便于检索原文。
中文英文一句话说明
经典测验理论classical test theory (CTT)以 X = T + E 为基础的测量框架,把观测分数分解为真分数与误差。
真分数true score同一测验无限次重复所得分数的期望值,不是"绝对真实能力"。
信度reliability真实变异占观测变异的比例,反映测量的一致性。
重测信度test–retest reliability同一测验间隔一段时间两次施测的相关,反映跨时间稳定性。
复本信度alternate-form reliability两份平行版本之间的相关,反映题目抽样误差。
内部一致性internal consistency同一套题目之间共享方差的程度,常用 α 或 KR-20 估计。
克朗巴赫 αCronbach's alpha题目方差之和占总分方差的比例的函数,信度的下限估计。
评分者信度inter-rater reliability不同评分者对同一表现给出一致结论的程度。
内容效度content validity题目对目标领域内容的代表性,靠蓝本与专家判断建立。
构念效度construct validity分数是否反映理论构念,靠聚合、区分、结构与后果证据论证。
效标效度criterion validity分数与外部标准的关系,分同时效度与预测效度。
项目难度item difficulty (P)题目的通过率或平均得分率,决定题目方差。
区分度item discrimination (D)高分组与低分组通过率之差,反映题目分辨能力。
测量标准误standard error of measurement (SEM)个体观测分数偏离真值的典型幅度,SEM = SD × √(1 − r)。
最小可检测变化minimal detectable change (MDC)超出测量误差、可视为真实变化的最小分差,约 2.77 × SEM。

18.1 参考来源

测量学与方法文献

  • Spearman, C. (1904). 相关系数与测量误差的经典论述。
  • Kuder, G. F., & Richardson, M. W. (1937). 二分计分测验的信度估计(KR-20)。
  • Cronbach, L. J. (1951). Coefficient alpha and the internal structure of tests.
  • Cronbach, L. J., & Meehl, P. E. (1955). Construct validity in psychological tests.
  • Messick, S. (1989, 1995). 效度的统一论证与后果效度。
  • Nunnally, J. C., & Bernstein, I. H. (1994). Psychometric Theory.
  • AERA, APA, & NCME (2014). Standards for Educational and Psychological Testing.
  • Polit, D. F., & Beck, C. T. (2006). 内容效度指数(CVI)的编制与解释。
  • Kane, M. T. (2013). Validating the interpretations and uses of test scores.

航空训练与评估框架

  • ICAO Doc 9868, PANS-Training(含基于胜任力的训练与评估框架)。
  • ICAO Doc 9995, Manual of Evidence-based Training。
  • IATA CBTA 实施指南(用于了解行业实践,不作为本单位标准)。

以上仅列作者与年份,不写页码、效果量与具体条款号;引用时请以原文为准。

18.2 边界声明

三条边界: (1)本文只讲原理与公式含义,不构成任何测量方案、评估工具或统计软件操作指南; (2)文中阈值(如 I-CVI 0.78、S-CVI/Ave 0.90)属于方法学建议,不是法规要求,也不能替代本单位的合格标准; (3)所有算例均为示意数据,不对应真实学员、真实量表或真实研究结果,不能引用为证据。 涉及人事决策时,应以本单位训练大纲、评估方案、申诉程序与数据治理规定为准。