你不是统计学家,但你每天都在用测量结果做决定:谁能放单、谁能升级、谁需要补训。
不懂测量学,就只能相信数字的表面。
1.1 一个真实发生的分歧
同一名学员,在模拟机检查中两位教员分别给出 3 分和 4 分(5 级量表)。升级委员会面对两个数字,
通常会问"谁更权威",而很少问三个更基础的问题:这个 3 与 4 的差别,是能力差别,还是评分者差别?
如果同一名学员重复检查,分数会在多大范围内波动?这个分数被用来决定升级,后果是否在可承受范围?
这三个问题,正好对应测量学的三个核心概念:信度(分数稳不稳)、
测量误差(波动有多大)、效度(用它做这个决定对不对)。
它们不是学术装饰,而是人事决策的防错装置。
1.2 分数从哪来:一次测量的解剖
观测分数的构成(概念式)
观测分数 = 真实水平 + 系统性偏差 + 随机误差
真实水平是你想测的能力;系统性偏差来自评分者严宽、题目偏向、场景难易;
随机误差来自当天状态、注意力、记忆、环境。测量学要回答的是:这三部分各占多少,
以及我们能不能把"真实水平"从后面两项里分离出来。
一个关键认识: 任何一次评估的分数都不是"能力本身",而是"能力加上当次测量条件"的混合产物。
把分数当能力,是评估体系里最常见的越界。
1.3 与《评分者一致性与信效度》的分工
本目录已有一篇专门讲评分者一致性的统计方法:Cohen's κ、ICC、Bland–Altman、评分者漂移的检测。
本文不重复那些计算,而是补上它们背后的测量学地基:信度到底是什么、效度有哪几种证据、
项目分析怎么做、常模与标准分怎么解释、SEM 如何变成决策带。
两篇的关系是"地基"与"施工图":先懂原理,再谈具体指标。
| 问题 |
本文回答 |
《评分者一致性与信效度》回答 |
| 分数稳不稳 | 信度的定义、四类来源、方差比例解释 | 用 κ / ICC 具体算出一致性数值 |
| 分数准不准 | 内容、构念、效标三类证据的论证逻辑 | 评分者漂移与校准工作坊的操作 |
| 单个分数怎么解释 | SEM、置信区间、MDC 的含义 | 绝对一致与一致性两种 ICC 口径 |
| 分数怎么用于决策 | 常模参照 vs 标准参照、决策带 | 双评抽检与年度体检的制度设计 |
经典测验理论(Classical Test Theory, CTT)不复杂,但它有三个容易被跳过的假设。
假设不成立时,后面所有公式都会失效。
2.1 模型与三条假设
CTT 基本方程
X = T + E
假设一:E(E) = 0 误差的期望值为零
假设二:ρ(T, E) = 0 真分数与误差不相关
假设三:ρ(E₁, E₂) = 0 不同测量之间的误差不相关
X 为观测分数,T 为真分数,E 为误差。真分数不是"绝对真理",而是同一测验无限次重复所得分数的期望值——
这是一个操作定义,不是哲学定义。假设一说明误差不系统性偏置;假设二说明误差不挑人;
假设三说明一次测量的误差不会"记住"另一次。
由假设可直接推出方差分解:σ²X = σ²T + σ²E
(因为真分数与误差不相关,协方差项为零)。这条式子是整个信度理论的地基:
观测分数的变异,被拆成"真实差异"与"误差变异"两部分。
2.2 真分数与平行测验
CTT 用"平行测验"来定义信度:两个测验如果测量同一个真分数、误差方差相同、且误差彼此独立,
就称为平行。平行测验之间的相关,就是信度系数的理论原型。
现实中几乎不存在严格平行的两份测验,所以实际操作里用"重测""复本""分半""内部一致性"来近似。
注意一个常见误解: "真分数"不等于"这个人的真实能力"。它只是"在这个测验条件下、无限次重复的期望"。
如果测验本身内容效度差,T 可能稳定地偏离真正的能力——信度高不代表测得对。
2.3 CTT 的边界
- 样本依赖: 信度系数会随样本异质性变化。学员水平越接近,方差越小,信度越低。
- 题目依赖: 换一套题,信度可能变;α 只反映这一套题的内部结构。
- 单一误差: CTT 把所有误差合成一个 E,不区分"题目难"与"评分者严"。需要拆开时,要用概化理论(G 理论)或项目反应理论(IRT)。
- 不是唯一框架: IRT 用题目参数与能力参数建模,能处理不同题目难度与测验等值;CBTA 若要做跨批次比较,IRT 更合适,但门槛更高。
本文后续公式均建立在 CTT 框架内。写报告时应注明"基于 CTT",避免把不同框架的系数混在一起解释。
信度不是"一致性百分比",而是"真实变异占观测变异的比例"。
四种信度回答四个不同的稳定性问题,不能互相替代。
3.1 定义:一个比例,不是一顶帽子
信度系数
ρXX = σ²T / σ²X = 1 − σ²E / σ²X
ρXX 介于 0 与 1 之间(理论上可为负,但实际测验中接近于 0 到 1)。
它表示观测分数变异中,有多大比例来自真实差异。0.80 意味着 80% 的变异是"真的",
20% 是误差——不是说"80% 的人评对了"。
为什么不能说"信度 0.8 就是 80% 准确": 信度是群体方差的比例,
不是个体判断的正确率。同一个 0.8 的信度,在高异质性群体里可能很够用,在几乎同质的群体里可能完全不够。
3.2 四类信度来源
| 类型 |
估计方法 |
误差来源 |
回答的问题 |
主要陷阱 |
| 重测信度 |
同一测验、间隔一段时间、两次施测求相关 |
时间、状态波动、练习与记忆 |
分数跨时间稳不稳? |
间隔太短记答案,太长构念本身已变;两次施测条件不同会污染。 |
| 复本信度 |
两份平行版本,同一批人施测求相关 |
题目抽样误差 |
换一套等价题目,结果是否一致? |
真正平行的复本极难编制;复本难度稍偏就会压低系数。 |
| 内部一致性 |
分半相关 + Spearman–Brown;KR-20;Cronbach α |
题目异质性、题目间不一致 |
同一套题目内部是否测同一个东西? |
只反映单次施测;题目同质但构念狭窄时 α 会虚高;不适用于速度测验。 |
| 评分者信度 |
独立双评求相关或一致性系数(κ/ICC) |
评分者严宽、解释框架、观察片段 |
换一个人评,结论是否相同? |
评分者互相商量后打分,会把一致性人为做高;样本分布偏斜会压低 κ。 |
这四类不是"选一个最高的报上去",而是分别对应时间稳定性、题目等价性、内部同质性、评分可重复性。
一份评估报告如果只报 α,就无法回答"换一个教员评会不会一样";只报评分者一致性,就无法回答"这套题内部是否一致"。
3.3 信度依赖样本:范围限制的陷阱
信度系数是在特定样本上估出来的。如果被评群体水平非常接近(例如只对"接近放单"的学员做评估),
真实差异很小,观测变异主要来自误差,信度自然低。这叫范围限制(range restriction)。
最常见的错误结论: "这批学员信度只有 0.55,说明我们的评估工具不行。"
更可能的情况是:这批学员本来就同质,工具没有足够的真实差异可分辨。
正确的做法是在样本中纳入边缘案例与明显不达标案例,再估信度。
α 是最常被引用、也最常被误读的系数。它有一个明确的公式、一个明确的前提、一串明确的误用。
4.1 公式与符号
CRONBACH'S α
α = (k / (k − 1)) × (1 − Σσ²i / σ²total)
k:题目数
σ²i:第 i 题的分数方差
σ²total:总分的方差
括号内是"1 减去题目方差之和占总分方差的比例"。题目之间共享方差越多,Σσ²i 相对越小,α 越高。
当所有题目完全独立(互不共享),α 接近 0;当题目高度同质,α 接近 1。
KR-20(二分计分题)
αKR20 = (k / (k − 1)) × (1 − Σpiqi / σ²total)
pi:第 i 题答对比例;qi = 1 − pi
KR-20 是 α 在 0/1 计分下的特例:每题的方差就是 pi(1 − pi)。
多选题、判断题、检查单勾选项都可以用它。
4.2 α 到底在测什么
α 可以理解为"题目之间共享方差的比例",也可以理解为"所有可能分半信度的平均值"。
它成立的前提是题目测量同一个构念(单维或本质单维),且题目之间大致等价(tau-equivalence 是更严格的条件)。
在这个前提下,α 是信度的一个下限估计:真实信度通常不低于 α,但也可能更高。
一句话记法: α 高,说明"这套题内部抱团";α 低,说明"这套题各说各话"。
但"抱团"不等于"抱对了构念"——一群题可以一起测错东西。
4.3 六个常见误用
误用 1α 高 = 单维
题目可以分成几个高度相关的小组块,整体 α 仍然很高。单维性要用因子分析或项目反应理论的结构证据,不能靠 α。
误用 2题目越多 α 越高
α 随题目数增加而升高,这是 Spearman–Brown 的必然结果。为了 α 好看而堆同义题,会损害内容效度。
误用 3反向题不处理
反向计分题若未正确编码,会与其余题目负相关,直接压低 α。先检查题目-总分相关,再解释 α。
误用 4速度测验用 α
限时测验中,未答完的题目会造成"题目间不一致"的假象。速度测验应报重测或复本信度。
误用 5删题只看 α
删掉一道与其他题相关低的题,α 会升,但可能删掉了唯一覆盖关键内容的题。信度与内容效度要一起看。
误用 6把 α 当个人精度
α 是群体指标,不能推出"某个人的分数误差有多大"。个体精度要用 SEM。
4.4 Spearman–Brown:加题能提高多少信度
SPEARMAN–BROWN prophecy
rk = (k × r1) / (1 + (k − 1) × r1)
r1 是原测验信度,k 是题目数变为原来的几倍,rk 是加长后的信度。
例:原 5 题 α = 0.625,题目翻倍到 10 题,r = (2 × 0.625) / (1 + 0.625) = 0.769。
这是"假设新题与旧题等价"的估计,不是保证。
这条公式有一个重要含义:信度提升有上限。原信度越低,加题收益越明显,但永远到不了 1;
原信度已经很高时,再加题几乎没有意义。更有效的做法通常是改题目质量与评分锚点,而不是无限加题。
在 CBTA 里,评分者不是"测量过程的旁观者",而是测量工具的一部分。
评分者信度不是附加项,它决定了总分信度的上限。
5.1 评分者误差如何进入分数
含评分者的分数分解
X = T + R + (T×R) + E
T:学员真实表现 R:评分者严宽(系统性)
T×R:评分者与学员的交互(某教员对某类学员特别严) E:随机误差
这一分解说明:即使学员表现完全不变,换一个评分者,分数也会变。
若 R 与交互项占比大,总分信度就会被"评分者噪声"封顶,靠加题也救不回来。
这也解释了一个常见现象:一套评分表内部一致性很高(α 好),但两位教员给出的总分差异很大。
α 只测了"题目之间",没测"评分者之间"。两类信度必须分开报告。
5.2 设计决定信度:四种常见安排
| 设计 | 能估计什么 | 优点 | 代价 |
| 单评 | 无法估计评分者信度 | 成本最低 | 评分者误差完全混入分数,无法分离 |
| 独立双评 | 评分者间一致性、绝对一致 | 可估误差、可做仲裁 | 人力翻倍;两位评分者需真正独立 |
| 部分双评抽检 | 整体评分者信度(抽样估计) | 成本可控,可纵向监控 | 不能给出每个人的评分误差 |
| 评分者校准后单评 | 校准后的一致性 | 运行成本低 | 校准效果会漂移,需定期复训与抽检 |
一个易被忽略的设计问题: 两位评分者"讨论后达成一致",得到的不是独立双评,
而是一次共识评分。它可以提高决策接受度,但不能用来估计评分者信度——因为独立性已经被破坏。
5.3 与具体统计方法的分工
评分者信度的具体计算(Cohen's κ、Fleiss' κ、加权 κ、ICC、Bland–Altman)在
评分者一致性与信效度 一文中已完整展开。
本文只需要记住三条测量学结论:
- 评分者信度是总分信度的组成部分: 它低,总分信度就低,且不能靠增加题目补救。
- 一致性 ≠ 绝对一致: 排序一致(consistency)不代表分数可互换(absolute agreement),人事决策通常需要后者。
- 一致性会被样本分布扭曲: 高合格率样本会压低 κ,不能直接读成"评分不可靠"。
效度不是"测验自带的属性",而是"分数解释与用途"的属性。
同一份分数,用来做训练诊断可能有效,用来做淘汰可能无效。
6.1 Messick 的统一效度观
Messick 在 1989 年提出,效度不是几种"类型"的拼盘,而是一个整体论证:
分数解释是否有理论依据、是否与外部证据一致、后果是否可接受。
他把效度分为内容、构念、效标、后果等方面,但这些方面不是可以互相替代的"证据类型",
而是同一个论证的不同侧面。
最重要的转变: 不要问"这个测验有效吗",要问"用这个分数做这个解释、支持这个决定,有没有足够证据"。
同一套测评,用于"训练需求诊断"与用于"淘汰"所需的证据强度完全不同。
6.2 三类核心证据
| 证据类型 |
回答的问题 |
常用方法 |
不能证明什么 |
| 内容效度 |
题目是否覆盖了目标领域的全部重要内容? |
双向细目表、任务分析、专家评定、内容覆盖指数 |
不能证明分数与真实运行表现相关 |
| 构念效度 |
分数是否反映了理论上的构念? |
因子结构、聚合与区分效度、已知组比较、干预反应 |
不能证明构念本身选对了;理论错,证据也会"自洽地错" |
| 效标效度 |
分数能否预测或关联某个外部标准? |
同时效度、预测效度、相关系数、ROC/决策分析 |
不能证明因果;效标本身可能被污染或缺失 |
表面效度(face validity)不是效度证据。 题目"看起来像那么回事"只影响接受度,
不构成任何心理测量学证据。它有用,但不能用来替代上面三类。
6.3 效度论证的四个问题
Q1
构念定义清楚吗
要测的"情景意识"是否有可观察的行为定义?定义含糊,后面所有证据都无从谈起。
Q2
内容覆盖完整吗
行为指标是否覆盖了构念的关键方面?是否遗漏了高风险场景?
Q3
内部结构一致吗
指标之间的相关模式是否符合理论预期?有没有"方法效应"在主导?
Q4
外部关联成立吗
分数与教员独立评级、QAR、LOSA、事件率是否有合理方向的关系?
内容效度回答一个很朴素的问题:这张卷子/这套评分表,有没有考到该考的东西。
它靠的是"蓝本"与"专家判断",不是相关系数。
7.1 双向细目表:把"该考的"写出来
双向细目表(test blueprint)是一张二维表:一个维度是内容领域(例如飞行阶段、系统知识、胜任力要素),
另一个维度是行为层级(知道、理解、应用、决策)。每个格子写明题目数量或权重。
它的作用不是"分题",而是把"覆盖"从感觉变成可核对的结构。
| 内容领域 \ 层级 | 知道 | 理解 | 应用 | 决策 | 合计权重 |
| 正常程序 | 2 | 3 | 3 | 1 | 25% |
| 非正常程序 | 2 | 2 | 4 | 3 | 35% |
| 机组协作 | 1 | 2 | 3 | 2 | 25% |
| 威胁与差错管理 | 1 | 1 | 2 | 2 | 15% |
表中数字是示意,不是标准权重。实际权重应来自任务分析(job task analysis)与本单位运行数据,
而不是照搬别的公司或别的机型的蓝本。
7.2 内容覆盖指数(CVI)
内容效度指数
I-CVI = 评为"相关"的专家数 / 专家总数
S-CVI/Ave = 各题 I-CVI 的平均
S-CVI/UA = 全部专家都评为"相关"的题目数 / 题目总数
I-CVI 是单题层面的内容效度;S-CVI/Ave 是整套题的平均水平;S-CVI/UA 是"全体一致"的比例。
Polit 与 Beck 建议 I-CVI 不低于 0.78、S-CVI/Ave 不低于 0.90(专家人数较少时更严格),
但这些是方法学建议,不是法规阈值,应结合专家数量与领域复杂度判断。
示意算例5 位专家、10 道题
假设 5 位专家对 10 道题逐题判断"是否与目标构念相关"。其中 8 道题有 4 位以上专家评为相关(I-CVI ≥ 0.80),
2 道题只有 3 位专家认可(I-CVI = 0.60)。
S-CVI/Ave = (8 × 0.80 + 2 × 0.60) / 10 = (6.4 + 1.2) / 10 = 0.76。
S-CVI/UA = 全部 5 位专家都认可的题目数 / 10。若这 8 道题中有 6 道获得全票,则 S-CVI/UA = 0.60。
以上为说明计算逻辑的示意数据。实际应用中应先修订低 I-CVI 题目,再重新评定,而不是直接把均值报上去。
7.3 CBTA 中的内容效度
CBTA 的"题目"不是选择题,而是场景 + 可观察行为 + 评分锚点。
内容效度在这里表现为三件事:
- 构念覆盖: 九项胜任力是否都有对应的行为指标与场景,而不是只评容易观察的那几项。
- 场景代表性: 模拟机场景是否覆盖了该阶段的关键威胁与差错,而不是只考"好飞的科目"。
- 层级匹配: 评分要求的是"应用/决策",场景却只触发"知道/理解",层级错配会让分数虚高。
最常见的伪内容效度: 请几位资深教员"看一遍觉得合理"。
这只是表面效度。真正的内容效度需要书面的蓝本、逐项映射表、以及独立专家的判断记录。
构念效度是最抽象、也最容易被糊弄的一类。它的核心不是"算出一个数",而是"证据网络是否收束"。
8.1 构念与名义网络
Cronbach 与 Meehl 在 1955 年提出"名义网络"(nomological network):
一个构念的意义,来自它与其它构念、可观察行为、前因后果之间的关系网络。
"情景意识"之所以有意义,是因为它与"注意力分配""工作负荷""决策质量""威胁识别"有理论上的联系;
如果测评分数与这些变量全都无关,那它测的就不是情景意识。
构念效度的证据结构(概念式)
分数 ↔ 同构念的其它测量(聚合)
分数 ↮ 不同构念的测量(区分)
分数 ← 理论前因(可预测)
分数 → 理论后果(可解释)
"↔"表示应呈正相关,"↮"表示相关应显著更低。聚合与区分要同时成立,才有构念效度;
只有聚合没有区分,说明分数可能被"方法效应"或" halo 效应"主导。
8.2 常用证据与方法
内部结构因子分析
探索性因子分析看维度是否按理论聚合;验证性因子分析检验预设模型拟合。注意:拟合指标好不等于构念定义正确。
聚合与同构念测量相关
新评分表与已有的成熟测量(教员独立评级、同伴评价)应呈合理正相关。
区分与不同构念区分
与"一般智力""经验年资"等相关应明显较低,否则测的是别的变量。
已知组已知组比较
高训练水平组与低训练水平组的分数应有方向性差异;但年资差异不能直接当构念证据。
干预反应训练前后变化
针对性训练后分数应变化,且变化与训练内容对应;这是"分数对干预敏感"的证据。
多质多法MTMM
用多种方法测多个特质,检验"特质效应"是否大于"方法效应"。CBTA 里方法效应常来自同一教员同时评多项。
8.3 CBTA 构念效度的三个难点
- 不可直接观察: 情景意识、工作负荷管理都靠行为推断。指标选得不好,测到的是"表演"而不是"能力"。
- 维度高度相关: 九项胜任力在真实表现中互相缠绕,因子分析常得到一个"一般胜任力"因子。此时要区分"理论维度"与"统计维度"。
- 评分者即方法: 同一教员评所有维度,会产生方法效应(halo)。需要用多评分者、多场景、多时点来分离。
一个务实的判断: 如果资源只够做一件事,先做区分效度——确认你的评分没有把"听话""资历""表达流利"当成"胜任力"。
这比追求漂亮的因子拟合更有运行价值。
效标效度回答"分数能不能预测/关联某个外部标准"。它最像"硬证据",
但也最容易因为效标本身不干净而误导。
9.1 同时效度与预测效度
同时效度(concurrent)
- 测评与效标在同一时间点收集
- 回答"现在能不能区分不同表现水平"
- 适合诊断、分班、现职评估
- 无法回答"未来会不会出问题"
预测效度(predictive)
- 测评在先,效标在后(数月至数年)
- 回答"现在的高分能否预测未来的好表现"
- 适合选拔、升级预测
- 周期长、样本流失、效标漂移
两者的区别不只是时间顺序,而是用途。用同时效度的证据去支持"选拔淘汰",
在逻辑上是不成立的——你证明的是"现在能区分",不是"未来能预测"。
9.2 效标的质量:污染与缺失
| 问题 | 含义 | 航空场景示例 |
| 效标污染 | 效标里混入了与目标能力无关的成分 | 用"教员印象分"当效标,其中混入资历、态度、表达能力 |
| 效标缺失 | 效标没有覆盖目标能力的关键方面 | 只用 QAR 超限事件当效标,测不到决策质量与协作 |
| 效标不稳 | 效标本身信度低或事件率极低 | 严重事件极少发生,年度事件率无法稳定区分个体 |
| 效标漂移 | 效标标准随时间变化 | 公司收紧/放宽事件判定,导致同一行为在不同年份被不同对待 |
因此,效标效度的第一项工作不是"算相关",而是定义并验证效标。
如果效标本身不可靠,算出来的相关系数只是"两个噪声的相关"。
9.3 相关系数与解释方差
效标关联效度
rxy = 测评分数与效标分数的皮尔逊相关
r²xy = 决定系数 = 测评能解释的效标变异比例
衰减校正:rtrue = robs / √(rxx × ryy)
rxx 为测评信度,ryy 为效标信度。观测相关会被两边的测量误差同时压低,
校正后才是"理论上限"。但校正只能修误差,不能修效标污染与范围限制。
示意算例相关 0.40 意味着什么
假设某测评与后续教员评级的观测相关为 r = 0.40,则 r² = 0.16。也就是说,测评分数只能解释效标变异的 16%,
剩下 84% 来自其它因素(经验、训练、场景、评分者、随机波动)。
若测评信度为 0.80、效标信度为 0.80,则衰减校正后 rtrue = 0.40 / √(0.80 × 0.80) = 0.40 / 0.80 = 0.50,
r² = 0.25。校正后解释力提高,但仍意味着 75% 的变异未被解释。
示意数据,用于说明计算口径,不是真实研究结果。报告效度时必须同时写 r、r²、样本量、效标定义与是否校正。
不要用 r 当命中率。 r = 0.40 不表示"40% 的人被选对"。
命中率取决于基率、 cut score 与决策规则,必须单独做决策分析(见第十七章自测题 Q5)。
题目(项目)层面的两个基本参数:难度与区分度。它们决定了这套题能不能把人分开,
也决定了总分信度的上限。
10.1 难度:不是"难不难",而是"通过率"
项目难度
P = 答对该题的人数 / 总人数 (或该题平均得分 / 该题满分)
P 越大,题目越容易。P = 1 表示所有人都对,P = 0 表示所有人都错。
对 1–5 级评分的项目,"难度"可理解为平均等级 ÷ 满分等级,反映该指标的宽松程度。
难度直接决定题目方差:二分题的方差为 P(1 − P),在 P = 0.5 时最大,在 P 接近 0 或 1 时趋近于 0。
题目方差太小,总分方差就小,信度自然低。这就是"全员都满分"的评估看起来很好、实际上没有信息量的原因。
10.2 区分度:高分组与低分组的差
区分度(D 指数)
D = P高 − P低
P高:总分前 27% 的学员在该题的通过率
P低:总分后 27% 的学员在该题的通过率
D 介于 −1 与 1。D 为正说明高分组更可能答对,题目在"往正确方向区分";
D 接近 0 说明题目不区分;D 为负说明题目可能表述有歧义、答案键错误,或高分组被误导。
27% 是常用分组比例,也可用 25% 或 33%,但必须在报告中说明。
题目-总分相关(点二列相关)
rpb = [(M1 − M0) / SDtotal] × √(p / q)
M1 为答对该题者的总分均值,M0 为答错者的总分均值,p 为答对比例,q = 1 − p,
SDtotal 为总分标准差。它比 D 更充分利用全部样本,是更稳定的区分度指标。
10.3 难度与区分度的关系
两者不是独立的。P 太极端时,D 的上限会被压缩:如果 95% 的人都答对,
高分组与低分组的通过率都接近 95%,差值不可能大。反过来,P 接近 0.5 时,D 才有较大空间。
所以项目分析要同时看 P 与 D,不能只看其中一个。
一个反直觉的例子: 某题 P = 0.33、方差不小,但 D = 0.07——它有变异,却没有区分力。
这说明"有方差"是区分度的必要条件,不是充分条件。题目可能在考"猜题技巧"或表述含糊。
10.4 CBTA 等级评分的"项目分析"
- 端点使用率: 如果 1 分与 5 分几乎不用,量表实际上只有 3 个点在工作,精度被压缩。
- 等级分布: 大量集中在 3 分("中庸分"),说明锚点没有区分力,或教员不愿给极端分。
- 维度-总分相关: 每个行为指标与总评分的相关应适中;过高说明冗余,过低说明该指标与整体构念脱节。
- 难度漂移: 同一指标在不同批次的平均等级持续上升,可能是标准松动(见评分者漂移)。
标准分解决"不同量尺不可比"的问题;常模解决"这个分数在人群中处于什么位置"的问题。
两者都不是"绝对能力"。
11.1 三种标准分
标准分换算
z = (X − M) / SD
T = 50 + 10z
stanine(九分制)≈ 5 + 2z,四舍五入后截断在 1–9
百分等级(percentile rank)= 低于该分数的人数比例 × 100
X 为原始分,M 为常模均值,SD 为常模标准差。z 的均值 0、标准差 1;
T 的均值 50、标准差 10;stanine 的均值 5、标准差 2。百分等级是"位置",不是"正确率"。
示意算例原始分 78,常模均值 70、标准差 8
z = (78 − 70) / 8 = 1.00。T = 50 + 10 × 1.00 = 60。stanine ≈ 5 + 2 × 1.00 = 7。
若分数近似正态分布,z = 1.00 对应的百分等级约为 84——意思是"约 84% 的人低于这个分数",
不是说"这个人答对了 84% 的题"。
示意数据。百分等级依赖分布形态,偏态分布时不能直接按正态表换算。
11.2 常模参照与标准参照
常模参照(norm-referenced)
- 解释:个体在群体中的相对位置
- 用途:选拔、排序、分班
- 风险:常模过时、样本不代表、文化偏差
- 不能回答"他会不会做这件事"
标准参照(criterion-referenced)
- 解释:个体是否达到绝对标准
- 用途:合格判定、放单、胜任力认证
- 风险:标准设定缺乏证据、标准漂移
- 不关心"别人怎么样",只关心"够不够"
CBTA 是标准参照,不是常模参照。 用"同期学员排名前 80% 就能放单"来代替"达到行为标准",
是把合格线交给了样本分布。样本整体变差时,合格线会跟着下降——这是最隐蔽的标准漂移。
11.3 常模的四个质量要求
代表性样本与目标人群一致
机型、基地、年龄、训练阶段应匹配;用国外航司常模解释本国学员分数,误差会被放大。
时效性常模会过时
训练体系、选拔标准、机队结构变化后,旧常模不再适用。建议明确更新周期与责任部门。
稳定性样本量足够
样本太小,均值与标准差本身就不稳,标准分的解释随之失真。
可追溯换算规则公开
原始分到标准分的公式、取整规则、缺失值处理都应留档,否则分数无法复核。
信度是群体指标,SEM 才是个体指标。它回答"这个人的分数,可能偏离真值多远"。
12.1 公式与含义
测量标准误
SEM = SDX × √(1 − rXX)
SDX:观测分数的标准差
rXX:信度系数
SEM 是"误差分数的标准差"。它越大,单个分数越不可信。
注意:SEM 与被评者的分数高低无关(CTT 假设误差方差对所有人相同),
但不同人群、不同评估条件下 SEM 会不同,不能跨人群套用。
置信区间与最小可检测变化
95% 置信区间 ≈ X ± 1.96 × SEM
两次测量的差值标准误:SEMdiff = √(SEM1² + SEM2²)
最小可检测变化:MDC95 = 1.96 × √2 × SEM ≈ 2.77 × SEM
当两次分数之差小于 MDC95 时,这个差异很可能只是测量误差,不能据此判断"进步了"或"退步了"。
这对复训前后、年度复评、两次模拟机检查的比较尤其重要。
12.2 把分数变成决策带
假设合格线是 80 分,SEM = 3 分。那么 95% 置信区间约为 ±5.9 分。
一个观测分数 78 的人,其真值可能落在 72–84 之间;一个观测 82 的人,真值可能落在 76–88 之间。
两个人的"真实水平"区间大面积重叠,用 80 分一刀切,会产生大量误判。
运行上的做法: 在合格线附近设置"决策不确定带"(例如 80 ± 1.96 SEM)。
落入带内的案例,不直接判合格/不合格,而是走补充证据:第二次评估、独立复核、更多场景观察。
这不是降低标准,而是承认测量有误差。
12.3 SEM 不能做什么
- 不能修系统偏差: 如果全体教员都偏宽,SEM 只描述波动,不修正整体偏移。
- 不能替代效度: 一个稳定地测错东西的工具,SEM 可以很小。
- 不能跨人群直接套用: 学员群体与现役机长群体的 SD 不同,SEM 也不同。
- 不能用于单题: SEM 是总分层面的;单题误差通常更大,需单独分析。
一个 5 题量表,已知题目方差与总分方差,手算 Cronbach α、SEM、95% 置信区间与最小可检测变化。
所有数字均为示意,用于核对计算口径。
13.1 已知条件
示意数据
题目数 k = 5
各题方差:1.2、1.4、1.0、1.3、1.1 → Σσ²i = 6.0
总分方差 σ²total = 12.0 → SD = √12.0 ≈ 3.464
这些数字是构造出来的,不对应任何真实量表。真实计算应使用同一批学员的作答数据。
13.2 第一步:算 α
CRONBACH'S α
α = (k / (k − 1)) × (1 − Σσ²i / σ²total)
α = (5 / 4) × (1 − 6.0 / 12.0)
α = 1.25 × (1 − 0.50)
α = 1.25 × 0.50 = 0.625
解释:观测总分变异中约 62.5% 可归因于真实差异,37.5% 是误差。这个水平对高风险人事决策偏低。
13.3 第二步:算 SEM 与置信区间
SEM
SEM = SD × √(1 − α)
SEM = 3.464 × √(1 − 0.625)
SEM = 3.464 × √0.375
SEM = 3.464 × 0.6124 ≈ 2.12 分
95% 置信区间 = 1.96 × SEM = 1.96 × 2.12 ≈ ±4.16 分
MDC95 = 2.77 × SEM = 2.77 × 2.12 ≈ 5.88 分
含义:一个观测 70 分的人,95% 区间约为 65.8–74.2;两次评估相差不到 5.88 分,不能称为"真实变化"。
13.4 第三步:加题能提高多少
SPEARMAN–BROWN(题目翻倍)
r2 = (2 × 0.625) / (1 + 0.625)
r2 = 1.25 / 1.625 ≈ 0.769
信度从 0.625 升到约 0.769,仍未达到 0.80。继续加到 15 题:r3 = (3 × 0.625)/(1 + 2 × 0.625) = 1.875/2.25 ≈ 0.833。
但这是"新题与旧题等价"的假设,实际收益取决于新题质量。
一个容易被忽略的点: 信度提高不等于 SEM 的绝对分数一定变小。
SEM = SD × √(1 − r),如果加题同时把总分尺度拉宽(SD 变大),SEM 的绝对值可能不降。
只有在总分尺度固定(例如百分制、SD 固定)时,信度提高才会直接带来 SEM 下降:
例如 SD = 15 时,r = 0.625 → SEM ≈ 9.19;r = 0.769 → SEM ≈ 7.21。
用同一批 100 名学员的示意数据,演示难度 P、区分度 D、题目方差,以及效标相关系数的解释。
14.1 已知条件
示意数据
学员总数 N = 100
按总分取前 27 人与后 27 人(各 27%)
三道路面知识题 A、B、C 的作答情况如下
分组比例取 27% 是项目分析的常用做法;不同比例会改变 D 的具体数值,因此报告必须注明。
14.2 逐题计算
| 题目 |
高分组答对 |
低分组答对 |
P = 合计/54 |
D = 差值/27 |
题目方差 P(1−P) |
判断 |
| A | 24 / 27 | 12 / 27 |
36/54 ≈ 0.667 | 12/27 ≈ 0.444 | ≈ 0.222 |
区分良好 |
| B | 10 / 27 | 8 / 27 |
18/54 ≈ 0.333 | 2/27 ≈ 0.074 | ≈ 0.222 |
区分差 |
| C | 26 / 27 | 20 / 27 |
46/54 ≈ 0.852 | 6/27 ≈ 0.222 | ≈ 0.126 |
偏易 |
读数要点:
- 题目 A: 难度适中(P ≈ 0.67),区分度较好(D ≈ 0.44),是"能干活"的题。
- 题目 B: 难度也适中,方差与 A 相同,但 D 只有 0.074——有变异、无区分。需要检查表述歧义、答案键、或是否在考"猜"。
- 题目 C: P ≈ 0.85 偏易,方差小,但仍有 0.222 的区分度。可以保留作为"基础掌握"检查,但不应占比过高。
教学要点: 题目方差大是区分度的必要条件,不是充分条件。B 题与 A 题方差相同,区分度却差了六倍,
说明"有变化"不代表"变化方向对"。
14.3 效标关联与解释力
示意数据:测评与后续教员评级的关联
观测相关 robs = 0.40
r² = 0.40² = 0.16 → 解释 16% 的效标变异
测评信度 rxx = 0.80,效标信度 ryy = 0.80
衰减校正:rtrue = 0.40 / √(0.80 × 0.80) = 0.40 / 0.80 = 0.50
校正后 r² = 0.50² = 0.25
校正只修测量误差,不修效标污染、范围限制与样本偏差。报告时应同时写明校正前后数值。
这组数字的运行含义是:即使校正后,测评也只能解释约四分之一的效标变异。
它不足以单独决定升级,但足以作为多重证据中的一项,用于提示"哪些人需要更多观察"。
把 r = 0.50 读成"一半能选对",是把相关系数当命中率,属于典型误读。
再看一个陷阱: 如果选拔只取分数最高的 10%,样本在测评分数上被截断(范围限制),
后续算出的效度系数会被压低。这不是工具变差,而是样本变异变小。校正需要范围限制公式,
且必须基于未入选者的分布信息,不能凭感觉"往上调"。
CBTA 的评估链条是:构念 → 行为指标 → 观察评分 → 组合与决策。
四个环节各自对应一类测量学要求,缺一环,分数就不能用于人事决定。
15.1 四个环节与四类证据
| 环节 | 测量学要求 | 具体做法 | 缺失后果 |
| 构念定义 | 构念效度(理论层面) | 用可观察行为定义每项胜任力;写清"什么表现算达到" | 评分退化为印象判断 |
| 行为指标 | 内容效度 | 蓝本映射、专家评定、场景覆盖检查 | 只评容易看的维度,漏掉关键能力 |
| 观察评分 | 评分者信度 + 项目分析 | 锚点、双评抽检、端点使用率、维度-总分相关 | 分数随人变,合格线失真 |
| 组合与决策 | 效标效度 + SEM | 定义效标、决策带、多重证据、交叉验证 | 用噪声做升级/淘汰决定 |
这就是为什么 CBTA 不能只做"评分表 + 教员培训"。评分表解决内容与锚点,
教员培训解决评分者信度,但构念定义、效标证据与决策规则必须由评估体系的设计者负责。
15.2 十类常见误用
| # | 误用 | 为什么错 | 正确做法 |
| 1 | α 高就认定单维 | 题目组块可产生高 α;单维性需要结构证据 | 做因子分析或 IRT 结构检验 |
| 2 | 把 r 当命中率 | r 是效应量;命中率取决于基率与 cut score | 单独做决策分析(敏感度/特异度/PPV) |
| 3 | 忽略范围限制 | 同质样本压低信度与效度系数 | 纳入边缘案例;报告样本分布;必要时校正 |
| 4 | 常模混用或过时 | 机型、基地、训练体系不同,标准分不可比 | 建立本单位常模并定期更新 |
| 5 | 单次评分做高风险决策 | 单次分数的误差带很宽 | 决策带 + 补充证据 + 复核 |
| 6 | 把表面效度当效度 | "看起来合理"不构成证据 | 蓝本、专家评定、外部效标 |
| 7 | 只看 p 值不看效应量 | 大样本下微小差异也显著 | 报 r、r²、置信区间与 SEM |
| 8 | 多重比较后挑最亮的 | 反复筛选会放大偶然结果 | 预先设定假设;交叉验证 |
| 9 | 把等级当等距 | 1–5 级之间的距离不一定相等 | 用有序模型或明确加权规则 |
| 10 | 用平均分掩盖维度缺陷 | 补偿式组合会让"强项拉平弱项" | 关键维度设非补偿规则(一票否决) |
误用 10 最值得警惕: 一名学员"程序应用"很强、"情景意识"很弱,平均分仍可能过线。
但运行中决定安全的往往是最弱的那一环。组合规则必须事先声明,不能等看到分数再决定怎么加。
测量学不是"统计部门的事"。教员、标准制定者、升级委员会都需要一套共同语言,
否则同一份报告会被读出三种意思。
16.1 三小时工作坊设计
0:00–0:30
概念对齐
用一次真实分歧(同一学员两个分数)引出信度、误差、效度三问;不讲公式推导。
0:30–1:30
手算算例
用本文算例让教员亲手算 α、SEM、MDC;重点体会"5.88 分以内不算变化"。
1:30–2:15
本校数据
拿本单位的等级分布、端点使用率、双评差异做现场解读;不点名、不追责。
2:15–3:00
决策演练
给出三个"卡在合格线附近"的案例,让各组用决策带与多重证据做判断,再比对结论。
16.2 可打印检查单
1
构念:每项胜任力都有可观察行为定义,且写明"达到/未达到"的分界。
2
蓝本:有书面的内容×层级细目表,权重来自任务分析而非照搬。
3
场景:覆盖关键威胁与差错,而不是只选"好飞"的科目。
4
锚点:每个等级有具体行为样例,教员能指着行为说话,而不是凭印象。
5
评分者:有独立双评或抽检机制;评分者校准有记录、有复训周期。
6
信度:报告 α(或 KR-20)与评分者一致性,并注明样本与范围限制。
7
误差:报告 SEM 与 95% 区间;合格线附近设置决策不确定带。
8
效标:写明效标定义、来源、信度与污染风险;区分同时效度与预测效度。
9
常模:若使用标准分,注明常模年份、样本与适用人群;CBTA 合格判定用标准参照。
10
决策:组合规则事先声明;关键维度是否有非补偿规则;申诉与复核通道是否独立。
16.3 一页纸报告模板
评估质量摘要(建议格式)
- 构念与用途:测什么、给谁看、支持什么决定。
- 样本:人数、训练阶段、机型、范围限制说明。
- 信度:α 或 KR-20;评分者一致性;各自样本与口径。
- 误差:SD、SEM、95% 区间、MDC。
- 效度:内容证据(蓝本/专家)、构念证据(结构/聚合区分)、效标证据(r、r²、校正)。
- 决策规则:cut score、决策带、组合规则、复核路径。
- 边界:这份分数不能支持哪些结论。
报告的最低标准: 任何一个数字,都要能被第三个没参与评估的人复算出来。
做不到,就说明口径还没写清。
前五题考概念与公式,后五题考解释与决策。答对不等于会用,能在本单位数据上算一遍才算。
Q1
某量表 Cronbach α = 0.85,正确解释是?
- A. 85% 的题目是正确的
- B. 观测分数变异中约 85% 可归因于真实差异
- C. 85% 的学员达到合格标准
- D. 两位评分者的一致率为 85%
查看答案与解析
答案:B。α 是方差比例,不是正确率、合格率或评分者一致率。A/C/D 都把群体统计量误读成了比例或判断正确率。
Q2
下列哪种情况最适合用重测信度?
- A. 限时速度测验
- B. 测量稳定能力倾向、且间隔期内构念不应明显变化
- C. 一次性的情景判断测验
- D. 评分者刚讨论完评分标准
查看答案与解析
答案:B。重测信度测"跨时间稳定性",要求构念本身在间隔期内不因学习或训练而改变。速度测验受练习效应影响;一次性情境测验无法重复;评分者讨论后评分破坏独立性。
Q3
关于效度,下列说法正确的是?
- A. 效度是测验本身固有的属性
- B. 只要信度高,效度一定高
- C. 效度是分数解释与用途的属性,需要证据论证
- D. 表面效度高就说明效度高
查看答案与解析
答案:C。效度针对"解释与用途",同一分数用于诊断与用于淘汰所需证据不同。信度是必要条件而非充分条件;表面效度只是接受度,不是效度证据。
Q4
某测验总分 SD = 12,信度 r = 0.75,SEM 约为?
- A. 3.0
- B. 6.0
- C. 9.0
- D. 12.0
查看答案与解析
答案:B。SEM = 12 × √(1 − 0.75) = 12 × 0.5 = 6.0。注意先算 1 − r,再开方,不能直接拿 SD 乘 r。
Q5
测评与效标的相关系数 r = 0.30,r² 等于多少,含义是什么?
- A. 0.30;解释 30% 的效标变异
- B. 0.09;解释 9% 的效标变异
- C. 0.60;解释 60% 的效标变异
- D. 0.09;30% 的人会被选对
查看答案与解析
答案:B。r² = 0.09,即测评解释约 9% 的效标变异。相关系数不是命中率,D 的"30% 的人被选对"没有依据。
Q6
某题难度 P = 0.95,最可能出现的问题是?
- A. 题目方差过大,信度虚高
- B. 题目方差很小,区分度上限被压缩
- C. 该题一定会拉低内容效度
- D. 该题区分度一定为负
查看答案与解析
答案:B。P = 0.95 时方差为 0.95 × 0.05 ≈ 0.0475,可区分空间很小,D 的上限被压缩。它不必然损害内容效度,也不必然出现负区分度。
Q7
CBTA 的放单合格判定,应当采用哪种解释框架?
- A. 常模参照,按同期排名划线
- B. 标准参照,对照事先定义的绝对行为标准
- C. 按平均分排序,取前 80%
- D. 按教员的整体印象投票
查看答案与解析
答案:B。CBTA 判定"是否达到胜任力标准",属于标准参照。A/C 会把合格线交给样本分布,样本变差时标准随之下移;D 缺乏行为锚点与信度控制。
Q8
评分者信度很低时,下列哪种做法最无效?
- A. 校准评分者、统一锚点
- B. 独立双评并做仲裁
- C. 单纯增加题目数量
- D. 监控评分者均值与分布
查看答案与解析
答案:C。评分者误差会封顶总分信度,加题只能减少题目抽样误差,无法消除评分者严宽与交互效应。A/B/D 都直接针对评分者误差。
Q9
要建立一套 CBTA 评分表的内容效度证据,最合适的做法是?
- A. 让几位资深教员看一遍,觉得合理即可
- B. 计算 Cronbach α,α 高就说明内容覆盖好
- C. 用书面蓝本做构念-指标-场景映射,并由独立专家逐项评定
- D. 与另一家航司的评分表对比条目数量
查看答案与解析
答案:C。内容效度靠蓝本、映射与专家判断。A 只是表面效度;α 测内部一致性,不测覆盖;D 与覆盖无关,条目数量多不代表覆盖全。
Q10
一名学员观测分数 79,合格线 80,SEM = 3。最合理的处理是?
- A. 直接判不合格,因为低于 80
- B. 直接判合格,四舍五入到 80
- C. 落入决策不确定带,补充证据后再判
- D. 换一个更宽松的评分者重评,取较高分
查看答案与解析
答案:C。79 落在 80 ± 1.96 × 3(约 ±5.9)的不确定带内,单次分数不足以支撑高风险判定。A/B 忽略误差;D 是挑选评分者,破坏评估公正性。正确做法是补充场景、独立复核或第二次评估。
使用建议: 教员培训用 Q1–Q6(概念与公式),评估方案评审用 Q7–Q10(解释与决策)。
答错不可怕,可怕的是答错之后仍然按旧口径报数。
15 条术语按文中出现顺序排列;英文为文献通用写法,便于检索原文。
| 中文 | 英文 | 一句话说明 |
| 经典测验理论 | classical test theory (CTT) | 以 X = T + E 为基础的测量框架,把观测分数分解为真分数与误差。 |
| 真分数 | true score | 同一测验无限次重复所得分数的期望值,不是"绝对真实能力"。 |
| 信度 | reliability | 真实变异占观测变异的比例,反映测量的一致性。 |
| 重测信度 | test–retest reliability | 同一测验间隔一段时间两次施测的相关,反映跨时间稳定性。 |
| 复本信度 | alternate-form reliability | 两份平行版本之间的相关,反映题目抽样误差。 |
| 内部一致性 | internal consistency | 同一套题目之间共享方差的程度,常用 α 或 KR-20 估计。 |
| 克朗巴赫 α | Cronbach's alpha | 题目方差之和占总分方差的比例的函数,信度的下限估计。 |
| 评分者信度 | inter-rater reliability | 不同评分者对同一表现给出一致结论的程度。 |
| 内容效度 | content validity | 题目对目标领域内容的代表性,靠蓝本与专家判断建立。 |
| 构念效度 | construct validity | 分数是否反映理论构念,靠聚合、区分、结构与后果证据论证。 |
| 效标效度 | criterion validity | 分数与外部标准的关系,分同时效度与预测效度。 |
| 项目难度 | item difficulty (P) | 题目的通过率或平均得分率,决定题目方差。 |
| 区分度 | item discrimination (D) | 高分组与低分组通过率之差,反映题目分辨能力。 |
| 测量标准误 | standard error of measurement (SEM) | 个体观测分数偏离真值的典型幅度,SEM = SD × √(1 − r)。 |
| 最小可检测变化 | minimal detectable change (MDC) | 超出测量误差、可视为真实变化的最小分差,约 2.77 × SEM。 |
18.1 参考来源
测量学与方法文献
- Spearman, C. (1904). 相关系数与测量误差的经典论述。
- Kuder, G. F., & Richardson, M. W. (1937). 二分计分测验的信度估计(KR-20)。
- Cronbach, L. J. (1951). Coefficient alpha and the internal structure of tests.
- Cronbach, L. J., & Meehl, P. E. (1955). Construct validity in psychological tests.
- Messick, S. (1989, 1995). 效度的统一论证与后果效度。
- Nunnally, J. C., & Bernstein, I. H. (1994). Psychometric Theory.
- AERA, APA, & NCME (2014). Standards for Educational and Psychological Testing.
- Polit, D. F., & Beck, C. T. (2006). 内容效度指数(CVI)的编制与解释。
- Kane, M. T. (2013). Validating the interpretations and uses of test scores.
航空训练与评估框架
- ICAO Doc 9868, PANS-Training(含基于胜任力的训练与评估框架)。
- ICAO Doc 9995, Manual of Evidence-based Training。
- IATA CBTA 实施指南(用于了解行业实践,不作为本单位标准)。
以上仅列作者与年份,不写页码、效果量与具体条款号;引用时请以原文为准。
18.2 边界声明
三条边界:
(1)本文只讲原理与公式含义,不构成任何测量方案、评估工具或统计软件操作指南;
(2)文中阈值(如 I-CVI 0.78、S-CVI/Ave 0.90)属于方法学建议,不是法规要求,也不能替代本单位的合格标准;
(3)所有算例均为示意数据,不对应真实学员、真实量表或真实研究结果,不能引用为证据。
涉及人事决策时,应以本单位训练大纲、评估方案、申诉程序与数据治理规定为准。