Chapter 5

评估考核

掌握CBTA胜任力评估、ICAO九大核心胜任力、73项行为指标和ORCA评估模型

🎯 学习目标
  1. 说明 ORCA 评估模型。
  2. 按行为指标评分并校正四类评估偏差。
  3. 设计基于证据的讲评与趋势跟踪。
🔴 CBTA 胜任力评估框架

📊 CBTA评估核心

CBTA是ICAO Doc 9868定义的现代评估框架,将传统的"任务清单"式评估转变为"胜任力行为指标"式评估。CBTA关注学员"如何做"和"为什么",而非仅仅"做了什么"。

🏆 ICAO 胜任力评级量表(1-5级)

等级名称描述表现特征
5优秀表现始终展示几乎所有适用OB,示范性表现增强安全性,可作为榜样
4高于标准经常展示大多数适用OB,有效表现安全结果,超出基本要求
3标准经常展示许多适用OB,足够表现安全结果,达到基本要求
2低于标准偶尔展示部分OB,最低可接受表现未导致不安全,需要改进
1不可接受很少展示OB,无效表现导致不安全情况
合格标准:3分或以上为合格。型别等级培训目标是在课程结束前达到4分或5分。评分为1-3的胜任力必须输入评论说明。
📑 九大核心胜任力与行为指标

📑 73项可观察行为指标 Observable Behaviors

每个核心胜任力都有一组可观察、可测量的行为指标。评估时教员根据学员的行为表现与行为指标的匹配程度进行评级。

1. 知识应用 KNO(7项)

编号行为指标
KNO.1展示有关限制、系统及相互作用的实用和适用知识
KNO.2展示所需的已公布的运行规定的知识
KNO.3展示有关物理环境和空中交通环境的知识
KNO.4展示有关适用法规的适当知识
KNO.5知道从哪里获得所需信息
KNO.6表现出对获取知识的积极兴趣
KNO.7能够有效地运用知识

2. 程序应用 PRO(7项)

编号行为指标
PRO.1确定在哪里可以找到程序和法规
PRO.2及时应用相关的运行规定、程序和技术
PRO.3遵循SOP,除非更高的安全性指示需要适当偏离
PRO.4正确操作飞机系统和相关设备
PRO.5监控飞机系统状态
PRO.6遵守适用法规
PRO.7应用相关的程序知识

3. 自动航径管理 FPA(6项)

编号行为指标
FPA.1根据已有飞行管理系统、引导系统,恰当使用以匹配当时的情况
FPA.2监控并识别与预计飞行航径的偏差,并采取适当措施
FPA.3管理飞行航径以实现最佳运行表现
FPA.4使用自动化功能保持预计飞行航径,同时管理其他任务和干扰
FPA.5根据飞行阶段和工作负荷,及时选择适当的自动化级别和模式
FPA.6有效监控飞行引导系统,包括接通的状态和自动模式的转换

4. 人工航径管理 FPM(7项)

编号行为指标
FPM.1根据情况,以适宜的方式,准确、平稳地人工控制飞机
FPM.2监控并识别与预计飞行航径的偏差,并采取适当措施
FPM.3使用飞机姿态、速度和推力之间的关系,以及导航信号或目视信息来人工控制飞机
FPM.4管理飞行航径以实现最佳运行表现
FPM.5在人工飞行期间保持预计飞行航径,同时管理其他任务和干扰
FPM.6根据已有飞行管理系统、引导系统,恰当使用以匹配当时的情况
FPM.7有效监控飞行引导系统,包括接通的状态和自动模式的转换

5. 问题处理/决策 PSD(9项)

编号行为指标
PSD.1及时识别、评估和管理威胁与差错
PSD.2从适当的来源寻求准确和充分的信息
PSD.3识别并核实出现的问题及原因
PSD.4在保证安全的前提下,坚持不懈地解决问题
PSD.5确定并考虑适当的选项
PSD.6应用适当和及时的决策技巧
PSD.7根据需要,监控、回顾以及调整决策
PSD.8在缺乏指导或程序的情况下能够随机应变
PSD.9遇到意外事件时表现出足够的韧性/复原力

6. 沟通 COM(10项)

编号行为指标
COM.1确定接收者已准备好并且能够接收信息
COM.2恰当选择沟通的内容、时机、方式和对象
COM.3清晰、准确、简洁地传递信息
COM.4确认接收者展示出对重要信息的理解
COM.5接收信息时积极倾听并展示理解
COM.6询问相关且有效的问题
COM.7适当升级沟通以解决已发现的偏差
COM.8以适合组织和社会文化的方式使用和解读非语言沟通
COM.9遵守标准的无线电通话用语和程序
COM.10使用英文准确阅读、解读、构建和回应数据链信息

7. 领导力/团队合作 LTW(11项)

编号行为指标
LTW.1鼓励团队参与和开放式沟通
LTW.2展示主动,并在需要时提供指导
LTW.3让他人参与计划
LTW.4考虑他人的意见
LTW.5建设性地给予和接受反馈
LTW.6以建设性方式处理和解决冲突与分歧
LTW.7在需要时行使果断的领导力
LTW.8承担决策和行动的责任
LTW.9遵照执行指令
LTW.10应用有效的干预策略来解决已发现的偏差
LTW.11管理文化和语言方面的挑战

8. 情景意识与信息管理 SAW(7项)

编号行为指标
SAW.1监控并评估飞机及系统的状态
SAW.2监控并评估飞机的能量状态及预计的飞行航径
SAW.3监控和评估可能影响运行的总体环境
SAW.4验证信息的准确性并检查过失误差
SAW.5保持对参与操作或受运行影响的人员以及他们按预期表现的能力的意识
SAW.6根据与威胁与差错相关的潜在风险,制定有效的应急预案
SAW.7对情景意识下降的迹象做出响应

9. 工作负荷管理 WLM(9项)

编号行为指标
WLM.1在所有情况下都做到自我控制
WLM.2对任务进行有效地计划、优先级排序和安排
WLM.3在执行任务时有效地管理时间
WLM.4提供帮助
WLM.5委派任务
WLM.6在适当情况下寻求并接受帮助
WLM.7认真监控、回顾、交叉检查行动
WLM.8核实任务是否已达到预期结果
WLM.9在执行任务时有效管理干扰、分心、变化和失败,并从中有效恢复
🔍 ORCA评估模型

🔍 ORCA标准化评估流程

波音定义的标准化评估流程,确保评估的一致性和客观性:

Observe 观察观察学员行为
不做判断
→
Record 记录记录具体行为
使用ORCA模板
→
Classify 分类将行为与
胜任力指标匹配
→
Assess 评估基于行为指标
给出1-5级评分
ORCA的关键原则:先观察记录,后分类评估。避免在观察过程中就做出判断,确保评估基于客观的行为证据而非主观印象。

📝 ORCA观察记录填写示例

以下是一次V1后发动机故障训练中,教员对学员PSD(问题处理/决策)胜任力的ORCA记录示例:

ORCA步骤记录内容
Observe 观察V1+5秒左发故障后,PF在3秒内识别故障并喊出"发动机失效"。PF保持飞行路径控制,偏差在±200英尺和±10节以内。PM在5秒内开始执行发动机火警检查单。PF在500英尺时未执行航路偏移,直接转向备降场。
Record 记录时间14:32 - PSD.1 及时识别威胁
时间14:33 - PSD.4 坚持解决问题
时间14:35 - FPM.1 飞行路径控制平稳
时间14:38 - PSD.6 决策及时但未考虑所有选项
Classify 分类PSD.1 ✓ 及时识别评估威胁
PSD.4 ✓ 在保证安全的前提下坚持解决问题
PSD.5 △ 确定选项时未充分考虑备降场选择
PSD.6 ✓ 应用及时决策技巧
Assess 评估PSD评级:4(高于标准)
评论:学员在发动机失效后反应迅速,飞行路径控制良好。建议在Debriefing中讨论备降场选择的决策过程,考虑更多可用选项。

📈 评分边界案例:如何区分3分和4分

评分中最常见的问题是3分(标准)和4分(高于标准)的边界判断。以下以PSD胜任力为例说明:

行为指标2分(低于标准)3分(标准)4分(高于标准)5分(优秀)
PSD.1 及时识别威胁延迟识别,需要PM提醒识别威胁但反应略慢主动识别并立即开始管理预判威胁并提前准备
PSD.5 确定并考虑选项只考虑一个选项考虑2-3个选项但选择理由不够充分系统评估多个选项并选择最优创造性提出额外选项
PSD.9 表现出韧性在压力下表现明显下降在压力下维持基本表现在压力下保持良好表现在压力下表现反而提升
评分黄金法则:问自己"如果这位飞行员作为我今天的副驾驶,我是否放心?"如果答案是"放心",至少3分;如果"很放心",4分;如果"非常放心且能学到东西",5分;如果"不太放心",2分或以下。

⚠ 评估中的常见偏差

偏差不是"水平不够",而是评估过程本身的结构性问题。下面用一次模拟机评估的时间线,看四种偏差如何在同一个评分里叠加(教学化重构):

训练前

确认偏差:预期先于证据

教员听上一任教员说"这个学员基础很好",于是在训练开始前就形成了高分预期。接下来的观察更容易捕捉支持预期的行为,忽略不一致的证据。对策:每次训练以开放心态开始,先写"我今天要看什么行为",不写对学员的总体判断。

训练中段

光环效应:一项好,样样好

学员的手动操纵很稳,教员在知识应用、沟通、工作负荷管理上也给了高分。实际上,该学员在非正常程序的知识应用上出现了明显缺口。对策:按 ORCA 模型对每个胜任力独立评估,只依据该胜任力的行为指标,不用整体印象外推。

训练末段

近因效应:最后一个进近决定全部

学员最后一个进近完成得很好,教员把整场评分上调,忽略了前面两次进近的同样问题。对策:训练过程中持续记录关键行为与时间点,讲评前回顾全部记录,而不是凭最后印象打分。

评分会议

宽大 / 严格偏差:教员之间不一致

同一份录像,A 教员给 4 分,B 教员给 2 分,差异来自各自的评分尺度而不是学员表现。对策:通过教员校准会议与标准化评分练习统一尺度(校准方法与一致性指标见第 7 章),用同一段行为证据反复对齐。

四种偏差的共同解法只有一条:把评分从"我对这个人的印象"改成"我对这段行为的证据"。
📑 评估类型与规章检查的衔接

📑 三种评估类型:目的不同,用法不能混

同样是"打分",形成性、终结性与诊断性评估回答的是三个不同问题。混用会让评估失去原本的功能。

类型回答的问题时点结果用途误用后果
形成性 Formative学习进行得怎么样,下一步怎么教训练过程中,持续进行调整教学、给出反馈、发现缺口当成终结性使用:学员不敢暴露问题,教员只打分不教学
终结性 Summative是否达到课程或规章标准阶段结束、课程结束、检查节点判定通过/不通过,决定进入下一阶段当成形成性使用:标准反复变动,结论失去权威性
诊断性 Diagnostic缺口在哪里、为什么反复出现出现问题后,或训练开始前定位根因、设计补救方案用诊断结论直接替代终结性判定,或反过来用一次考试做诊断
CBTA 中的分工:日常训练事件以形成性评估为主,课程节点做终结性判定;出现反复缺口时才启动诊断性评估。形成性阶段暴露的问题,不应直接进入学员档案作为处分依据。

📈 标准参照 vs 常模参照:跟标准比,还是跟别人比

维度标准参照 Criterion-referenced常模参照 Norm-referenced
比较对象事先定义的行为标准同一批学员中的相对位置
典型问题"是否达到标准?""在群体中排第几?"
结果形式达标 / 未达标,或对应等级排名、百分位、相对等级
适用场景执照、等级、课程合格判定选拔、编班、资源分配
误用后果用排名淘汰本已达标者,造成"比例合格"用绝对标准解释相对分数,把"比同伴好"当成"达到标准"
训练中的底线:型别训练与执照相关检查是标准参照评估——达标就是达标,不按比例控制通过率。常模信息可以用来观察整体教学效果,但不能替代个体是否达标的判断。

📋 CBTA 评估与熟练检查、航线检查的对应关系

三者都看胜任力,但目的、依据与实施者不同。教员要清楚自己做的评估落在哪一格,避免"用课程评估的结论替代规章检查"。

维度CBTA 课程评估熟练检查 PC航线检查 / 航线观察 OSV
目的判断训练进展与课程达标验证执照或等级持有人保持熟练验证实际航线运行中的综合能力
性质形成性为主,课程节点为终结性规章要求的终结性检查运行环境下的终结性检查或观察
依据胜任力框架与行为指标规章规定的检查标准与程序公司航线检查/观察标准与运行程序
实施者授权型别教员局方检查员、委任代表,或按规章与公司程序授权的检查员公司检查员或航线观察员
环境地面、模拟机或训练飞行模拟机或飞机,按检查类型确定实际航线运行
结果用途进入下一阶段、课程结论执照或等级权利的维持运行资格与航线授权
教员角色实施训练、评估并签署训练记录协助准备;无授权时不作结论观察、记录、航后讲评;不干预运行
不能替代:课程评估通过,不等于熟练检查通过;熟练检查通过,也不等于航线观察无需进行。三者是不同层级的大门,各自按各自的程序关闭。

🔄 不合格之后:追加训练与再次检查

不合格不是流程终点,而是进入补救闭环。下面是一条通用的处理路径,具体次数、间隔与训练量由训练大纲和公司程序规定,不由教员个人决定:

1 判定与告知 依据行为证据判定不合格,向学员说明未达标的具体指标与后果
↓
2 讲评与书面记录 完成讲评,记录证据、根因分析与改进建议,双方确认
↓
3 追加训练 按训练大纲安排针对性训练,补齐缺口后再申请检查
↓
4 再次检查 由具备授权的人员按同一标准实施,不因"已经练过"而放宽
↓
5 结论与报告 通过则按规定签署;未通过则按公司程序与局方要求继续处理,并完成报告
教员的边界:教员可以判定课程表现不达标、提出追加训练建议;再次检查的安排、是否影响运行资格、以及执照层面的结论,按公司程序与局方要求执行。

📊 行为锚定评分 BARS:每条指标需要多少证据

行为锚定评分(BARS)把每个等级锚定到可观察的行为,而不是抽象形容词。真正决定评分质量的,是证据量是否足够。

等级行为证据要求判定口径常见误判
5 优秀多个情境、多次独立表现,且能示范给他人稳定超出标准,具有示范性把一次"惊艳表现"当成 5
4 高于标准多个情境中稳定出现,无需提示经常达到且高于标准把"没出错"当成 4
3 标准多数适用情境出现,边界情境仅需少量提示达到标准,可独立完成用单次顺利表现定 3
2 低于标准部分情境出现,需要重复提示,纠正后仍复发未达标准,但未导致不安全结果把一次紧张或生疏直接判 2
1 不可接受很少出现,导致不安全结果或需教员接管无效表现,存在安全后果把"态度不好"直接判 1,而不看行为
实操口径:每条指标至少要有 2 个独立观察点(不同时间或不同情境);涉及安全后果的指标建议 3 个以上;3/4 分边界争议必须有跨情境证据。证据不足时标注"未观察到/证据不足"并继续采样,不用平均分或印象补齐。
📊 数据驱动评估前沿

📊 客观数据辅助评估

模拟机的客观记录能力(参数记录、视频、数据快照)为胜任力评估提供了主观观察之外的数据支撑,形成"数据+观察"的双轨评估:

可用的客观数据

  • 飞行参数记录:高度/速度/航向偏差曲线、俯仰姿态变化、推力设置时序
  • 程序时序记录:检查单完成时间、告警响应时间、构型变更顺序
  • 视频回放:面部与操作动作同步回放,还原决策过程
  • 数据快照:关键事件瞬间的仪表状态记录

评估应用方式

  • 用客观参数验证主观观察:"你说进近不稳定,数据显示500英尺时速度低于Vref 8节"
  • 用数据识别模式:多次训练的偏差趋势(如持续右偏)比单次观察更可信
  • 讲评中播放数据回放,让学员"看见"自己的行为——比口头描述更有说服力
  • 数据驱动标准设定:将稳定进近参数作为客观标准,减少评分主观性
重要边界:客观数据评估的是"飞行表现",而胜任力评估(尤其非技术胜任力COM/LTW/PSD)必须依赖行为观察。正确做法是:以数据为证据补充,以ORCA行为观察为评估主线——两者结合才是完整评估。

👁 眼动与生理指标在研究评估中的应用

人因研究的前沿技术正从实验室走向训练评估,为识别"看不见的胜任力"提供新工具:

眼动追踪

  • 仪表扫描模式分析:高效飞行员扫描范围广、停留时间短、按需分配
  • 注意力固着检测:长时间凝视单一仪表是SAW.7下降的早期信号
  • 视线分配(内/外)比例:进近阶段内/外视线切换是否符合程序要求
  • 用于Debriefing可视化:让学员看到自己的"视线足迹"

生理指标

  • 心率变异性(HRV):评估压力负荷与恢复状态,辅助训练强度决策
  • 皮电/皮肤温度:识别惊吓反应和情绪唤醒
  • 脑电(EEG):评估认知负荷等级,识别"超载"与"空闲"状态
  • 注意:生理数据目前用于研究和训练优化,尚不宜直接用于评分判定

📈 连续监测与趋势评估

评估不再局限于"检查点"时刻,而是贯穿整个训练周期的连续过程:

基线建立首次训练建立
各胜任力基线
→
过程记录每次训练
持续记录表现
→
趋势分析识别进步、停滞
或退步模式
→
动态干预根据趋势
调整训练计划
趋势评估的价值:单次评估是"快照",趋势评估是"影片"。连续监测能识别:进步速度异常(过慢需排查原因)、胜任力迁移(在新技术上的表现)、潜在的心理状态变化(表现持续下滑可能是疲劳或压力信号)。这些信息应纳入PLM持续跟踪体系。
✎ 章末自测 · 5 题

先自己作答,再展开答案与解析。

1. ORCA 评估模型的 O 指:

A. Organize 组织
B. Observe 观察
C. Offer 提供
D. Open 开放
答案与解析

答案:B。ORCA=Observe 观察、Record 记录、Compare 比较、Assess 评估。

2. 防止光环效应最有效的做法是:

A. 凭整体印象给分
B. 按每个胜任力独立依据行为指标评分
C. 只看最后一个科目
D. 参考上一任教员评价
答案与解析

答案:B。光环效应来自整体印象外推,解法是逐项、按证据评分。

3. 防止近因效应的做法是:

A. 只记最后一个进近
B. 训练全程记录,讲评前回顾全部证据
C. 提高最后一项权重
D. 让学员自评代替教员评分
答案与解析

答案:B。持续记录并回看全程,避免最后印象覆盖整场表现。

4. Kappa 系数在 0.7 以上通常表示:

A. 评分完全随机
B. 评估者间一致性可接受
C. 教员人数不足
D. 学员水平达标
答案与解析

答案:B。Kappa 校正了碰巧一致,0.7 以上通常视为可接受的一致性。

5. 3/4 分边界出现争议时,最合适的处理是:

A. 取两人平均分
B. 由资深教员直接定分
C. 在标准化会议中用同一段行为证据对齐标准
D. 改成通过/不通过
答案与解析

答案:C。边界争议应回到行为指标与证据,通过校准会议形成共识。