评估考核
掌握CBTA胜任力评估、ICAO九大核心胜任力、73项行为指标和ORCA评估模型
- 说明 ORCA 评估模型。
- 按行为指标评分并校正四类评估偏差。
- 设计基于证据的讲评与趋势跟踪。
📊 CBTA评估核心
CBTA是ICAO Doc 9868定义的现代评估框架,将传统的"任务清单"式评估转变为"胜任力行为指标"式评估。CBTA关注学员"如何做"和"为什么",而非仅仅"做了什么"。
🏆 ICAO 胜任力评级量表(1-5级)
| 等级 | 名称 | 描述 | 表现特征 |
|---|---|---|---|
| 5 | 优秀表现 | 始终展示几乎所有适用OB,示范性表现 | 增强安全性,可作为榜样 |
| 4 | 高于标准 | 经常展示大多数适用OB,有效表现 | 安全结果,超出基本要求 |
| 3 | 标准 | 经常展示许多适用OB,足够表现 | 安全结果,达到基本要求 |
| 2 | 低于标准 | 偶尔展示部分OB,最低可接受表现 | 未导致不安全,需要改进 |
| 1 | 不可接受 | 很少展示OB,无效表现 | 导致不安全情况 |
📑 73项可观察行为指标 Observable Behaviors
每个核心胜任力都有一组可观察、可测量的行为指标。评估时教员根据学员的行为表现与行为指标的匹配程度进行评级。
1. 知识应用 KNO(7项)
| 编号 | 行为指标 |
|---|---|
| KNO.1 | 展示有关限制、系统及相互作用的实用和适用知识 |
| KNO.2 | 展示所需的已公布的运行规定的知识 |
| KNO.3 | 展示有关物理环境和空中交通环境的知识 |
| KNO.4 | 展示有关适用法规的适当知识 |
| KNO.5 | 知道从哪里获得所需信息 |
| KNO.6 | 表现出对获取知识的积极兴趣 |
| KNO.7 | 能够有效地运用知识 |
2. 程序应用 PRO(7项)
| 编号 | 行为指标 |
|---|---|
| PRO.1 | 确定在哪里可以找到程序和法规 |
| PRO.2 | 及时应用相关的运行规定、程序和技术 |
| PRO.3 | 遵循SOP,除非更高的安全性指示需要适当偏离 |
| PRO.4 | 正确操作飞机系统和相关设备 |
| PRO.5 | 监控飞机系统状态 |
| PRO.6 | 遵守适用法规 |
| PRO.7 | 应用相关的程序知识 |
3. 自动航径管理 FPA(6项)
| 编号 | 行为指标 |
|---|---|
| FPA.1 | 根据已有飞行管理系统、引导系统,恰当使用以匹配当时的情况 |
| FPA.2 | 监控并识别与预计飞行航径的偏差,并采取适当措施 |
| FPA.3 | 管理飞行航径以实现最佳运行表现 |
| FPA.4 | 使用自动化功能保持预计飞行航径,同时管理其他任务和干扰 |
| FPA.5 | 根据飞行阶段和工作负荷,及时选择适当的自动化级别和模式 |
| FPA.6 | 有效监控飞行引导系统,包括接通的状态和自动模式的转换 |
4. 人工航径管理 FPM(7项)
| 编号 | 行为指标 |
|---|---|
| FPM.1 | 根据情况,以适宜的方式,准确、平稳地人工控制飞机 |
| FPM.2 | 监控并识别与预计飞行航径的偏差,并采取适当措施 |
| FPM.3 | 使用飞机姿态、速度和推力之间的关系,以及导航信号或目视信息来人工控制飞机 |
| FPM.4 | 管理飞行航径以实现最佳运行表现 |
| FPM.5 | 在人工飞行期间保持预计飞行航径,同时管理其他任务和干扰 |
| FPM.6 | 根据已有飞行管理系统、引导系统,恰当使用以匹配当时的情况 |
| FPM.7 | 有效监控飞行引导系统,包括接通的状态和自动模式的转换 |
5. 问题处理/决策 PSD(9项)
| 编号 | 行为指标 |
|---|---|
| PSD.1 | 及时识别、评估和管理威胁与差错 |
| PSD.2 | 从适当的来源寻求准确和充分的信息 |
| PSD.3 | 识别并核实出现的问题及原因 |
| PSD.4 | 在保证安全的前提下,坚持不懈地解决问题 |
| PSD.5 | 确定并考虑适当的选项 |
| PSD.6 | 应用适当和及时的决策技巧 |
| PSD.7 | 根据需要,监控、回顾以及调整决策 |
| PSD.8 | 在缺乏指导或程序的情况下能够随机应变 |
| PSD.9 | 遇到意外事件时表现出足够的韧性/复原力 |
6. 沟通 COM(10项)
| 编号 | 行为指标 |
|---|---|
| COM.1 | 确定接收者已准备好并且能够接收信息 |
| COM.2 | 恰当选择沟通的内容、时机、方式和对象 |
| COM.3 | 清晰、准确、简洁地传递信息 |
| COM.4 | 确认接收者展示出对重要信息的理解 |
| COM.5 | 接收信息时积极倾听并展示理解 |
| COM.6 | 询问相关且有效的问题 |
| COM.7 | 适当升级沟通以解决已发现的偏差 |
| COM.8 | 以适合组织和社会文化的方式使用和解读非语言沟通 |
| COM.9 | 遵守标准的无线电通话用语和程序 |
| COM.10 | 使用英文准确阅读、解读、构建和回应数据链信息 |
7. 领导力/团队合作 LTW(11项)
| 编号 | 行为指标 |
|---|---|
| LTW.1 | 鼓励团队参与和开放式沟通 |
| LTW.2 | 展示主动,并在需要时提供指导 |
| LTW.3 | 让他人参与计划 |
| LTW.4 | 考虑他人的意见 |
| LTW.5 | 建设性地给予和接受反馈 |
| LTW.6 | 以建设性方式处理和解决冲突与分歧 |
| LTW.7 | 在需要时行使果断的领导力 |
| LTW.8 | 承担决策和行动的责任 |
| LTW.9 | 遵照执行指令 |
| LTW.10 | 应用有效的干预策略来解决已发现的偏差 |
| LTW.11 | 管理文化和语言方面的挑战 |
8. 情景意识与信息管理 SAW(7项)
| 编号 | 行为指标 |
|---|---|
| SAW.1 | 监控并评估飞机及系统的状态 |
| SAW.2 | 监控并评估飞机的能量状态及预计的飞行航径 |
| SAW.3 | 监控和评估可能影响运行的总体环境 |
| SAW.4 | 验证信息的准确性并检查过失误差 |
| SAW.5 | 保持对参与操作或受运行影响的人员以及他们按预期表现的能力的意识 |
| SAW.6 | 根据与威胁与差错相关的潜在风险,制定有效的应急预案 |
| SAW.7 | 对情景意识下降的迹象做出响应 |
9. 工作负荷管理 WLM(9项)
| 编号 | 行为指标 |
|---|---|
| WLM.1 | 在所有情况下都做到自我控制 |
| WLM.2 | 对任务进行有效地计划、优先级排序和安排 |
| WLM.3 | 在执行任务时有效地管理时间 |
| WLM.4 | 提供帮助 |
| WLM.5 | 委派任务 |
| WLM.6 | 在适当情况下寻求并接受帮助 |
| WLM.7 | 认真监控、回顾、交叉检查行动 |
| WLM.8 | 核实任务是否已达到预期结果 |
| WLM.9 | 在执行任务时有效管理干扰、分心、变化和失败,并从中有效恢复 |
🔍 ORCA标准化评估流程
波音定义的标准化评估流程,确保评估的一致性和客观性:
不做判断
使用ORCA模板
胜任力指标匹配
给出1-5级评分
📝 ORCA观察记录填写示例
以下是一次V1后发动机故障训练中,教员对学员PSD(问题处理/决策)胜任力的ORCA记录示例:
| ORCA步骤 | 记录内容 |
|---|---|
| Observe 观察 | V1+5秒左发故障后,PF在3秒内识别故障并喊出"发动机失效"。PF保持飞行路径控制,偏差在±200英尺和±10节以内。PM在5秒内开始执行发动机火警检查单。PF在500英尺时未执行航路偏移,直接转向备降场。 |
| Record 记录 | 时间14:32 - PSD.1 及时识别威胁 时间14:33 - PSD.4 坚持解决问题 时间14:35 - FPM.1 飞行路径控制平稳 时间14:38 - PSD.6 决策及时但未考虑所有选项 |
| Classify 分类 | PSD.1 ✓ 及时识别评估威胁 PSD.4 ✓ 在保证安全的前提下坚持解决问题 PSD.5 △ 确定选项时未充分考虑备降场选择 PSD.6 ✓ 应用及时决策技巧 |
| Assess 评估 | PSD评级:4(高于标准) 评论:学员在发动机失效后反应迅速,飞行路径控制良好。建议在Debriefing中讨论备降场选择的决策过程,考虑更多可用选项。 |
📈 评分边界案例:如何区分3分和4分
评分中最常见的问题是3分(标准)和4分(高于标准)的边界判断。以下以PSD胜任力为例说明:
| 行为指标 | 2分(低于标准) | 3分(标准) | 4分(高于标准) | 5分(优秀) |
|---|---|---|---|---|
| PSD.1 及时识别威胁 | 延迟识别,需要PM提醒 | 识别威胁但反应略慢 | 主动识别并立即开始管理 | 预判威胁并提前准备 |
| PSD.5 确定并考虑选项 | 只考虑一个选项 | 考虑2-3个选项但选择理由不够充分 | 系统评估多个选项并选择最优 | 创造性提出额外选项 |
| PSD.9 表现出韧性 | 在压力下表现明显下降 | 在压力下维持基本表现 | 在压力下保持良好表现 | 在压力下表现反而提升 |
⚠ 评估中的常见偏差
偏差不是"水平不够",而是评估过程本身的结构性问题。下面用一次模拟机评估的时间线,看四种偏差如何在同一个评分里叠加(教学化重构):
确认偏差:预期先于证据
教员听上一任教员说"这个学员基础很好",于是在训练开始前就形成了高分预期。接下来的观察更容易捕捉支持预期的行为,忽略不一致的证据。对策:每次训练以开放心态开始,先写"我今天要看什么行为",不写对学员的总体判断。
光环效应:一项好,样样好
学员的手动操纵很稳,教员在知识应用、沟通、工作负荷管理上也给了高分。实际上,该学员在非正常程序的知识应用上出现了明显缺口。对策:按 ORCA 模型对每个胜任力独立评估,只依据该胜任力的行为指标,不用整体印象外推。
近因效应:最后一个进近决定全部
学员最后一个进近完成得很好,教员把整场评分上调,忽略了前面两次进近的同样问题。对策:训练过程中持续记录关键行为与时间点,讲评前回顾全部记录,而不是凭最后印象打分。
宽大 / 严格偏差:教员之间不一致
同一份录像,A 教员给 4 分,B 教员给 2 分,差异来自各自的评分尺度而不是学员表现。对策:通过教员校准会议与标准化评分练习统一尺度(校准方法与一致性指标见第 7 章),用同一段行为证据反复对齐。
📑 三种评估类型:目的不同,用法不能混
同样是"打分",形成性、终结性与诊断性评估回答的是三个不同问题。混用会让评估失去原本的功能。
| 类型 | 回答的问题 | 时点 | 结果用途 | 误用后果 |
|---|---|---|---|---|
| 形成性 Formative | 学习进行得怎么样,下一步怎么教 | 训练过程中,持续进行 | 调整教学、给出反馈、发现缺口 | 当成终结性使用:学员不敢暴露问题,教员只打分不教学 |
| 终结性 Summative | 是否达到课程或规章标准 | 阶段结束、课程结束、检查节点 | 判定通过/不通过,决定进入下一阶段 | 当成形成性使用:标准反复变动,结论失去权威性 |
| 诊断性 Diagnostic | 缺口在哪里、为什么反复出现 | 出现问题后,或训练开始前 | 定位根因、设计补救方案 | 用诊断结论直接替代终结性判定,或反过来用一次考试做诊断 |
📈 标准参照 vs 常模参照:跟标准比,还是跟别人比
| 维度 | 标准参照 Criterion-referenced | 常模参照 Norm-referenced |
|---|---|---|
| 比较对象 | 事先定义的行为标准 | 同一批学员中的相对位置 |
| 典型问题 | "是否达到标准?" | "在群体中排第几?" |
| 结果形式 | 达标 / 未达标,或对应等级 | 排名、百分位、相对等级 |
| 适用场景 | 执照、等级、课程合格判定 | 选拔、编班、资源分配 |
| 误用后果 | 用排名淘汰本已达标者,造成"比例合格" | 用绝对标准解释相对分数,把"比同伴好"当成"达到标准" |
📋 CBTA 评估与熟练检查、航线检查的对应关系
三者都看胜任力,但目的、依据与实施者不同。教员要清楚自己做的评估落在哪一格,避免"用课程评估的结论替代规章检查"。
| 维度 | CBTA 课程评估 | 熟练检查 PC | 航线检查 / 航线观察 OSV |
|---|---|---|---|
| 目的 | 判断训练进展与课程达标 | 验证执照或等级持有人保持熟练 | 验证实际航线运行中的综合能力 |
| 性质 | 形成性为主,课程节点为终结性 | 规章要求的终结性检查 | 运行环境下的终结性检查或观察 |
| 依据 | 胜任力框架与行为指标 | 规章规定的检查标准与程序 | 公司航线检查/观察标准与运行程序 |
| 实施者 | 授权型别教员 | 局方检查员、委任代表,或按规章与公司程序授权的检查员 | 公司检查员或航线观察员 |
| 环境 | 地面、模拟机或训练飞行 | 模拟机或飞机,按检查类型确定 | 实际航线运行 |
| 结果用途 | 进入下一阶段、课程结论 | 执照或等级权利的维持 | 运行资格与航线授权 |
| 教员角色 | 实施训练、评估并签署训练记录 | 协助准备;无授权时不作结论 | 观察、记录、航后讲评;不干预运行 |
🔄 不合格之后:追加训练与再次检查
不合格不是流程终点,而是进入补救闭环。下面是一条通用的处理路径,具体次数、间隔与训练量由训练大纲和公司程序规定,不由教员个人决定:
📊 行为锚定评分 BARS:每条指标需要多少证据
行为锚定评分(BARS)把每个等级锚定到可观察的行为,而不是抽象形容词。真正决定评分质量的,是证据量是否足够。
| 等级 | 行为证据要求 | 判定口径 | 常见误判 |
|---|---|---|---|
| 5 优秀 | 多个情境、多次独立表现,且能示范给他人 | 稳定超出标准,具有示范性 | 把一次"惊艳表现"当成 5 |
| 4 高于标准 | 多个情境中稳定出现,无需提示 | 经常达到且高于标准 | 把"没出错"当成 4 |
| 3 标准 | 多数适用情境出现,边界情境仅需少量提示 | 达到标准,可独立完成 | 用单次顺利表现定 3 |
| 2 低于标准 | 部分情境出现,需要重复提示,纠正后仍复发 | 未达标准,但未导致不安全结果 | 把一次紧张或生疏直接判 2 |
| 1 不可接受 | 很少出现,导致不安全结果或需教员接管 | 无效表现,存在安全后果 | 把"态度不好"直接判 1,而不看行为 |
📊 客观数据辅助评估
模拟机的客观记录能力(参数记录、视频、数据快照)为胜任力评估提供了主观观察之外的数据支撑,形成"数据+观察"的双轨评估:
可用的客观数据
- 飞行参数记录:高度/速度/航向偏差曲线、俯仰姿态变化、推力设置时序
- 程序时序记录:检查单完成时间、告警响应时间、构型变更顺序
- 视频回放:面部与操作动作同步回放,还原决策过程
- 数据快照:关键事件瞬间的仪表状态记录
评估应用方式
- 用客观参数验证主观观察:"你说进近不稳定,数据显示500英尺时速度低于Vref 8节"
- 用数据识别模式:多次训练的偏差趋势(如持续右偏)比单次观察更可信
- 讲评中播放数据回放,让学员"看见"自己的行为——比口头描述更有说服力
- 数据驱动标准设定:将稳定进近参数作为客观标准,减少评分主观性
👁 眼动与生理指标在研究评估中的应用
人因研究的前沿技术正从实验室走向训练评估,为识别"看不见的胜任力"提供新工具:
眼动追踪
- 仪表扫描模式分析:高效飞行员扫描范围广、停留时间短、按需分配
- 注意力固着检测:长时间凝视单一仪表是SAW.7下降的早期信号
- 视线分配(内/外)比例:进近阶段内/外视线切换是否符合程序要求
- 用于Debriefing可视化:让学员看到自己的"视线足迹"
生理指标
- 心率变异性(HRV):评估压力负荷与恢复状态,辅助训练强度决策
- 皮电/皮肤温度:识别惊吓反应和情绪唤醒
- 脑电(EEG):评估认知负荷等级,识别"超载"与"空闲"状态
- 注意:生理数据目前用于研究和训练优化,尚不宜直接用于评分判定
📈 连续监测与趋势评估
评估不再局限于"检查点"时刻,而是贯穿整个训练周期的连续过程:
各胜任力基线
持续记录表现
或退步模式
调整训练计划
先自己作答,再展开答案与解析。
1. ORCA 评估模型的 O 指:
B. Observe 观察
C. Offer 提供
D. Open 开放
答案与解析
答案:B。ORCA=Observe 观察、Record 记录、Compare 比较、Assess 评估。
2. 防止光环效应最有效的做法是:
B. 按每个胜任力独立依据行为指标评分
C. 只看最后一个科目
D. 参考上一任教员评价
答案与解析
答案:B。光环效应来自整体印象外推,解法是逐项、按证据评分。
3. 防止近因效应的做法是:
B. 训练全程记录,讲评前回顾全部证据
C. 提高最后一项权重
D. 让学员自评代替教员评分
答案与解析
答案:B。持续记录并回看全程,避免最后印象覆盖整场表现。
4. Kappa 系数在 0.7 以上通常表示:
B. 评估者间一致性可接受
C. 教员人数不足
D. 学员水平达标
答案与解析
答案:B。Kappa 校正了碰巧一致,0.7 以上通常视为可接受的一致性。
5. 3/4 分边界出现争议时,最合适的处理是:
B. 由资深教员直接定分
C. 在标准化会议中用同一段行为证据对齐标准
D. 改成通过/不通过
答案与解析
答案:C。边界争议应回到行为指标与证据,通过校准会议形成共识。