COMPETENCY-BASED TRAINING & ASSESSMENT · DEEP DIVE

CBTA与根因分析

Competency-Based Training & Assessment · Root Cause Analysis

基于胜任力的培训和评估(CBTA)是ICAO推动的航空培训范式变革,结合循证训练(EBT)与根因分析(RCA),构建从数据驱动到持续改进的完整培训闭环。本文从ICAO框架、方法论体系、评估标准到实施路径,进行全方位深度剖析。

9核心胜任力
5分制评分体系
3EBT实施阶段
5ADDIE开发阶段
📋

一、CBTA概述与ICAO框架

1.1 CBTA的定义

ICAO将基于胜任力的培训和评估(Competency-Based Training and Assessment, CBTA)定义为:

ICAO官方定义

"以表现力为导向、强调表现力标准及其衡量,并根据指定的表现力标准制定培训的培训和评估。"

—— ICAO Doc 9868, PANS-TRG

CBTA的核心思想是将培训从传统的"任务完成导向"转变为"胜任力达成导向"。它不仅仅关注飞行员是否完成了某项飞行任务,更关注飞行员在执行任务过程中展现出的综合能力水平。

1.2 CBTA的核心特征

表现力导向

Performance-Oriented

以可观察、可测量的行为表现作为培训与评估的核心依据,而非仅以任务完成与否作为判断标准。

标准驱动

Standards-Driven

建立明确的胜任力表现标准(Performance Standards),为培训设计、评估判断提供统一的参照框架。

评估整合

Integrated Assessment

评估贯穿培训全过程,形成性评估与总结性评估相结合,持续追踪胜任力发展轨迹。

个性化培训

Individualized Training

根据个体胜任力差距分析结果,制定针对性的培训方案,而非采用"一刀切"的培训模式。

持续改进

Continuous Improvement

通过数据收集与分析,持续优化培训内容和方法,形成培训质量的螺旋式上升。

1.3 ICAO框架下的九大核心胜任力

ICAO Doc 9868定义了飞行员培训的九项核心胜任力领域,构成了CBTA评估的基础框架:

序号 胜任力领域 英文 核心描述
1 航空知识应用 Application of Knowledge 将理论知识有效应用于飞行操作决策
2 程序遵循 Adherence to Procedures 准确执行标准操作程序和检查单
3 飞行操控 Flight Path Management - Manual 手动飞行操控的精准性和稳定性
4 自动化管理 Flight Path Management - Automation 有效管理和监控飞机自动化系统
5 沟通 Communication 清晰、准确的口头和书面沟通能力
6 团队合作 Teamwork 与机组其他成员有效协作配合
7 情境意识 Situational Awareness 对飞行环境、系统状态和风险的全面感知
8 工作负荷管理 Workload Management 有效分配和管理认知与操作资源
9 问题解决与决策 Problem Solving & Decision Making 识别问题、分析选项并做出合理决策
关键要点:CBTA将胜任力引入培训和评估,而不仅仅是飞行训练检查环节中的任务评估。这意味着评估的重点从"飞行员能否完成特定机动动作"转向"飞行员在复杂情境中展现的综合胜任力水平"。
📊

二、EBT(循证训练)详解

2.1 EBT的定义

IATA将循证训练(Evidence-Based Training, EBT)定义为:

IATA官方定义

"基于操作数据的培训和评估,其特点是发展并评估飞行员在一系列胜任力方面的整体胜任力,而不是测量单个个体在事件或机动中的表现力。"

—— IATA EBT Implementation Guide

2.2 EBT的核心理念

传统训练模式

  • 基于预设的机动动作清单进行训练
  • 评估重点是动作完成质量
  • 训练内容更新缓慢,依赖经验判断
  • 强调个体在特定事件中的表现
  • "一刀切"的复训周期
  • 训练与实际运行数据脱节

EBT循证训练模式

  • 基于胜任力发展进行综合训练
  • 评估重点是整体胜任力水平
  • 训练内容基于操作数据持续优化
  • 关注核心胜任力的全面发展
  • 根据数据定制个性化培训方案
  • 训练与实际运行数据紧密关联

2.3 EBT实施的三个阶段

EBT的实施是一个渐进式过程,IATA将其划分为三个递进阶段:

PHASE 1

混合EBT

Blended EBT

部分反复的评估和培训致力于EBT的应用。在现有训练框架中逐步引入胜任力评估和循证元素,保留部分传统训练内容作为过渡。

  • 保留部分传统机动训练
  • 引入胜任力评估概念
  • 开始收集和分析训练数据
  • 教员接受CBTA方法培训
PHASE 2

基线EBT

Baseline EBT

使用修改了循环的格式进行评估、培训和检查。全面采用胜任力评估框架,训练场景基于操作数据分析确定。

  • 全面采用胜任力评估框架
  • 训练场景基于数据驱动
  • 实施LOSA等数据收集工具
  • 建立表现标准基线
PHASE 3

增强型EBT

Enhanced EBT

开发方法论考虑个体操作注意事项,并对产生最大影响的领域改善飞行员培训。实现完全个性化的培训和评估体系。

  • 完全个性化的培训方案
  • 基于个体差距分析定制
  • 持续的数据反馈闭环
  • 与SMS全面整合
实施建议:大多数运营人应从混合EBT阶段开始,逐步积累数据和经验,再向更高阶段过渡。急于跳过基础阶段可能导致培训质量下降。
🔗

三、CBTA与EBT的关系

3.1 概念辨析

CBTA和EBT经常被混淆或交替使用,但它们实际上描述的是培训体系中不同但互补的维度:

核心关系:EBT是一个CBTA项目。CBTA提供了培训和评估的方法论框架(如何培训和评估),而EBT提供了数据驱动的证据基础(培训和评估什么)。

3.2 互补关系详解

维度 CBTA EBT
核心关注 如何培训和评估胜任力 培训和评估什么内容
理论依据 胜任力理论与教育评估学 操作数据分析与安全科学
数据来源 胜任力表现标准 飞行运行数据、事故/事件报告
主要贡献 将胜任力引入培训和评估 引入操作证据和数据指导培训
适用范围 所有培训和评估场景 主要针对定期复训
标准来源 ICAO Doc 9868 IATA EBT Implementation Guide

3.3 协同效应

当CBTA与EBT结合使用时,形成强大的协同效应:

CBTA + EBT = 数据驱动的胜任力培训体系

  • EBT提供"做什么"的方向:通过分析运行数据(事故、事件、LOSA观察等),识别最需要培训的胜任力领域和威胁场景
  • CBTA提供"怎么做"的方法:通过胜任力框架和表现标准,设计有效的培训和评估方案,确保培训效果可衡量
  • 共同推动持续改进:培训数据反馈到EBT数据库,形成"数据收集 → 差距分析 → 培训设计 → 效果评估 → 数据更新"的闭环
  • 从个体到系统的全面提升:CBTA关注个体胜任力发展,EBT关注系统层面的培训优化,两者结合实现全方位提升
🔍

四、根因分析(RCA)方法论

4.1 RCA的定义

根因分析(Root Cause Analysis, RCA)是用于识别引发差错、故障、问题或事件的根本原因的系统过程。在航空CBTA框架中,RCA是连接培训评估结果与培训改进方案的关键桥梁。

核心理念:RCA的核心概念是因果链思维——从根本原因到问题表象的影响路径。只有找到真正的根本原因,才能制定有效的改进措施,避免问题反复发生。

4.2 RCA在CBTA中的应用价值

诊断胜任力差距

Diagnose Competency Gaps

通过RCA深入分析评估中发现的胜任力不足,确定是知识缺陷、技能不足还是态度问题,而非停留在表面症状。

追溯培训系统原因

Trace Systemic Causes

不仅分析个体表现原因,还追溯培训设计、教学方法、评估标准等系统层面的根本原因。

优化培训方案

Optimize Training Programs

基于根因分析结果,有针对性地改进培训内容、方法和资源配置,提高培训效率和效果。

预防问题复发

Prevent Recurrence

通过消除根本原因而非仅处理表面症状,从根本上防止类似问题在后续培训中反复出现。

4.3 RCA的关键步骤

1
观察与记录
Observe & Record
2
趋势识别
Trend Identification
3
因果链分析
Causal Chain Analysis
4
差距分析
Gap Analysis
5
改进方案
Improvement Plan
6
ADDIE循环
ADDIE Cycle

五、因果链分析技术

5.1 因果链的概念

因果链(Causal Chain)是RCA的核心分析工具,它描述了从根本原因(Root Cause)到问题表象(Symptom/Event)之间的完整影响路径。在CBTA中,因果链分析帮助教员和培训管理者理解胜任力不足的深层原因。

因果链思维模型:根本原因(Root Cause) → 促成因素(Contributing Factors) → 直接原因(Direct Cause) → 问题表象(Symptom)。只有打断因果链中最高层级的节点,才能有效防止问题复发。

5.2 因果链分析示例

案例:飞行员在非精密进近中偏离进近航迹

层级 描述 类型
问题表象 飞机低于下滑道,触发GPWS告警 可观察事件
直接原因 飞行员未能及时修正垂直航迹偏差 行为层面
促成因素 高工作负荷下情境意识下降;自动化管理不当导致模式混淆 胜任力层面
根本原因 培训中对非精密进近的自动化管理训练不足;缺乏高工作负荷情境下的CRM训练 系统层面

5.3 常用因果链分析工具

5 Why 分析法

通过连续追问"为什么"来深入挖掘根本原因。每一层追问都揭示更深层的原因,直到触及可操作的根因为止。

  • 简单直观,易于使用
  • 适合单一问题的快速分析
  • 需要经验丰富的分析人员
  • 可能因分析者偏见导致偏差

鱼骨图(石川图)

将问题放在"鱼头",从人、机、环、管等多个维度系统性地分析可能的原因类别。

  • 结构化、系统性强
  • 适合团队协作分析
  • 可覆盖多种原因类别
  • 需要充分的领域知识
📝

六、ORCA数据收集模型

6.1 ORCA模型概述

ORCA模型是EBT/CBTA框架中用于系统化收集和分析培训数据的核心方法论,由四个关键步骤组成:

O

观察 Observe

Systematic Observation

在训练和实际运行中系统性地观察飞行员行为表现,使用标准化的观察工具(如LOSA)记录关键行为指标。

R

记录 Record

Data Recording

将观察到的行为数据、差错事件、威胁管理情况等结构化记录,建立可分析的数据库。

C

分类 Classify

Threat & Error Classification

按照TEM(威胁与差错管理)框架对数据进行分类,识别威胁类型、差错模式和不当管理行为。

A

评估 Assess

Competency Assessment

基于分类数据进行胜任力评估,识别胜任力差距和发展趋势,为培训改进提供依据。

6.2 双环数据收集体系

CBTA/EBT的数据收集采用"双环"架构,确保数据的全面性和系统性:

内环:培训活动数据

  • 模拟机训练中的胜任力评估数据
  • 教员观察记录和评语
  • 形成性评估和总结性评估结果
  • 学员自我评估和反思日志
  • 培训课程完成率和通过率

外环:飞行操作与SMS数据

  • 日常飞行运行数据(FDM/FOQA)
  • 安全报告系统(ASR/MOR)
  • LOSA航线运行安全审计
  • 事故和事件调查报告
  • 安全管理体系(SMS)数据
数据整合价值:内环数据反映培训效果,外环数据反映实际运行表现。两者的对比分析能够揭示培训与运行之间的差距,为培训优化提供方向性指导。

6.3 安全行动组(SAG)的职责

安全行动组 Safety Action Group (SAG)

安全行动组(SAG)是ORCA数据收集和分析的核心组织,负责任务、威胁、差错和差距分析。SAG通常由以下成员组成:

  • 首席飞行员 / 训练经理:提供管理支持和资源保障
  • 资深教员:提供培训和评估的专业判断
  • 安全部门代表:提供SMS数据和安全管理视角
  • 数据分析专员:负责数据的统计分析与趋势识别
  • 航线飞行员代表:提供一线运行视角的输入

七、5分制胜任力评分体系

7.1 评分标准概述

CBTA采用5分制行为锚定评分量表(Behaviorally Anchored Rating Scale, BARS)对飞行员胜任力进行评估。飞行员必须达到3分或以上才能获得整体合格分数。

7.2 各等级详细描述

分数 等级 描述 培训含义
1 不合格 表现远低于标准,存在严重的安全隐患。行为模式表明缺乏基本的知识、技能或判断力,需要立即干预。 需要重新进行基础培训,可能需要额外的辅导和监督飞行。
2 需改进 表现低于期望标准,在特定情境中存在明显的胜任力差距。偶尔能完成任务,但一致性和可靠性不足。 需要针对性的补救培训,聚焦于已识别的差距领域。
3 合格 表现达到期望标准。能够安全、有效地管理正常和异常情境,胜任力表现稳定可靠。 达到合格线,可继续常规培训和定期复训。
4 良好 表现高于期望标准。在复杂和高压情境中仍能保持高水平的胜任力表现,展现出优秀的判断力和适应力。 可考虑作为教员培养对象,参与同行辅导。
5 优秀 表现远超期望标准。展现出卓越的胜任力水平,能够有效指导他人,在极端情境中仍保持出色的表现。 标杆飞行员,适合担任高级教员或检查员角色。

7.3 评分的可视化展示

以下展示典型飞行员在九项核心胜任力上的评分分布示例:

胜任力评分雷达(示例)

航空知识应用4 / 5
程序遵循4 / 5
飞行操控(手动)3 / 5
自动化管理3 / 5
沟通4 / 5
团队合作4 / 5
情境意识3 / 5
工作负荷管理3 / 5
问题解决与决策4 / 5
评分注意事项:评分应基于可观察的行为证据,而非主观印象。教员需要接受严格的评分标准校准培训(Calibration Training),确保不同教员之间评分的一致性和公平性。
🔄

八、ADDIE课程开发周期

8.1 ADDIE模型概述

ADDIE是教学系统设计(Instructional Systems Design, ISD)中最经典的课程开发模型,也是CBTA培训课程开发的核心方法论。它由五个阶段组成一个迭代循环:

A
分析
Analysis
分析培训需求、目标受众、胜任力差距和约束条件。基于ORCA数据确定培训重点。
D
设计
Design
设计培训目标、学习策略、评估方案和课程结构。制定胜任力表现标准。
D
开发
Development
开发培训材料、模拟机场景、评估工具和教员指导手册。
I
实施
Implementation
交付培训课程,进行形成性评估,收集学员反馈和表现数据。
E
评估
Evaluation
评估培训效果,进行总结性评估。将结果反馈到分析阶段,启动下一轮循环。

8.2 ADDIE在CBTA中的应用

CBTA语境下的ADDIE实践要点

  • 分析阶段:基于ORCA数据收集结果,进行胜任力差距分析。利用RCA方法追溯差距的根本原因,确定培训的优先级和重点领域。同时分析学员群体的特征和培训资源约束。
  • 设计阶段:根据分析结果设计培训方案,包括培训目标(基于胜任力框架)、培训场景(基于EBT数据)、评估方法(基于5分制评分标准)和课程结构。确保培训设计与表现标准对齐。
  • 开发阶段:开发具体的培训材料和工具,包括模拟机训练脚本、CBT课件、案例研究材料、评估量表和教员指导手册。所有开发内容需经过SAG审核确认。
  • 实施阶段:按照设计方案交付培训。教员在培训过程中进行形成性评估,实时记录学员的胜任力表现数据,提供及时的反馈和指导。
  • 评估阶段:进行总结性评估,判断学员是否达到胜任力标准。同时评估培训方案本身的有效性,将评估结果和改进建议反馈到下一轮ADDIE循环的分析阶段。

8.3 ADDIE的迭代特性

持续迭代:ADDIE不是一个线性的一次性过程,而是一个持续的迭代循环。每一轮循环的评估结果都成为下一轮分析的输入,推动培训质量的持续改进。在CBTA框架中,ADDIE循环与ORCA数据收集形成双螺旋结构,共同驱动培训体系的进化。
👨‍✈️

九、教员在CBTA中的角色

9.1 角色转变

CBTA的实施要求教员角色发生根本性转变——从传统的"指令者/评判者"转变为"引导者/教练/评估者"三位一体的角色:

传统教员角色

  • 以指令和演示为主要教学方式
  • 评估重点是动作完成质量
  • 采用"教-练-考"的线性模式
  • 评估标准主观且不一致
  • 缺乏系统性的数据记录
  • 培训方案由管理层统一制定

CBTA教员角色

  • 以引导和辅导为主要教学方式
  • 评估重点是胜任力表现水平
  • 采用"观察-评估-反馈-改进"的循环模式
  • 评估基于行为锚定的客观标准
  • 系统化记录和分析行为数据
  • 根据个体差距定制培训方案

9.2 CBTA教员的核心能力要求

胜任力评估能力

Assessment Competency

准确使用5分制评分量表,基于可观察的行为证据进行客观评估。能够区分不同胜任力等级的细微差异。

建设性反馈能力

Constructive Feedback

提供具体、及时、可操作的行为反馈。帮助学员理解差距所在,并共同制定改进计划。

引导式教学能力

Facilitation Skills

通过提问、情境引导和反思促进学员自主学习,而非简单地告知答案或演示标准操作。

RCA分析能力

RCA Analysis Skills

能够运用因果链思维分析胜任力不足的根本原因,制定有针对性的补救措施。

数据记录与报告

Data Recording & Reporting

准确、完整地记录ORCA数据,撰写结构化的评估报告,为SAG分析提供可靠的数据输入。

9.3 教员培训与校准

标准化培训(Standardization Training):所有CBTA教员必须完成标准化的教员培训课程,并通过严格的校准评估。校准训练(Calibration)确保不同教员对相同行为的评分一致性达到可接受水平(通常要求Cohen's Kappa系数 ≥ 0.7)。定期进行校准复训,维持评分标准的一致性。
🗺

十、CBTA实施路线图

10.1 实施阶段规划

CBTA的实施是一个系统工程,需要分阶段有序推进。以下是基于ICAO和IATA指导的实施路线图:

1

准备与评估阶段(6-12个月)

成立CBTA实施项目组;进行差距分析,评估现有培训体系与CBTA要求的差距;制定实施计划和预算;确定试点机型和人员范围。

2

框架开发阶段(6-9个月)

开发胜任力框架和表现标准;设计ORCA数据收集工具和流程;建立SAG组织架构;制定5分制评分标准和校准程序。

3

教员培训阶段(3-6个月)

对所有教员进行CBTA方法论培训;完成评分标准校准训练;培养RCA分析能力;进行试点教学验证。

4

试点实施阶段(6-12个月)

在选定机型和人员范围进行试点;收集和分析ORCA数据;根据反馈调整框架和工具;验证ADDIE开发流程的有效性。

5

全面推广阶段(12-24个月)

将CBTA推广到所有机型和训练项目;建立持续改进机制;与SMS全面整合;逐步向增强型EBT阶段过渡。

10.2 关键成功因素

CBTA实施的关键成功因素

  • 高层管理承诺:CBTA实施需要大量的资源投入和组织变革,必须获得高层管理的全力支持
  • 教员文化转变:教员需要从传统教学思维转向CBTA思维,这是实施中最具挑战性的环节
  • 数据基础设施:建立完善的数据收集、存储和分析系统,支撑ORCA和RCA的实施
  • 渐进式推进:从混合EBT开始,逐步积累经验,避免激进变革带来的风险
  • 持续改进机制:建立ADDIE循环驱动的持续改进机制,确保培训质量不断提升
  • 监管机构配合:与民航监管机构保持密切沟通,确保CBTA方案符合法规要求
💡

十一、案例分析

11.1 案例背景

某航空公司运营人A在实施CBTA/EBT过程中,通过ORCA数据收集发现:在过去12个月的模拟机复训中,约35%的飞行员在"自动化管理"胜任力上获得2分(需改进),显著低于其他胜任力的平均得分。

11.2 RCA分析过程

步骤一:观察与记录

通过ORCA模型系统收集数据:

  • 模拟机训练中记录到的典型行为:飞行员过度依赖自动化,在模式转换时出现混淆,未能有效监控自动化系统的执行状态
  • 外环数据:FDM数据显示部分航班中出现非预期的自动化模式变化
  • ASR报告:多起涉及自动化管理不当的安全报告

步骤二:趋势识别

SAG分析数据趋势:

  • 自动化管理得分偏低集中在特定机型(新引进机型)和特定资历段(5-10年机龄的飞行员)
  • 问题在复杂场景(如非正常程序+恶劣天气)中更为突出
  • 新机型引入后的前6个月是问题高发期

步骤三:因果链分析

层级 分析结果
问题表象 35%飞行员自动化管理胜任力评分低于标准
直接原因 飞行员对新机型自动化系统的理解不深入;模式转换操作不够熟练
促成因素 差异训练时间不足;缺乏针对新机型自动化特点的专项训练场景
根本原因 新机型引入时,差异培训课程未充分纳入CBTA框架;培训场景库未更新以覆盖新机型的自动化特性

步骤四:差距分析与改进方案

基于RCA结果,启动ADDIE循环:

  • 分析:确定需要增加新机型自动化管理专项培训,重点针对5-10年资历飞行员
  • 设计:设计包含正常、异常和紧急情况的自动化管理训练场景矩阵
  • 开发:开发6个专项模拟机训练场景,覆盖最常见的自动化管理挑战
  • 实施:在新机型差异训练和定期复训中引入专项场景
  • 评估:6个月后重新评估自动化管理胜任力得分,验证改进效果

11.3 案例启示

关键启示:本案例展示了CBTA/EBT/RCA/ORCA/ADDIE五大方法论如何在实践中协同运作。数据驱动的分析方法使得运营人能够精准定位问题根源,制定有效的改进方案,并通过闭环验证确保改进效果。这正是CBTA相较于传统培训方法的核心优势所在。
📚

十二、参考文献

ICAO文件

  1. ICAO Doc 9868 PANS-TRG: Procedures for Air Navigation Services — Training. International Civil Aviation Organization.
  2. ICAO Doc 9995 Manual of Evidence-Based Training. International Civil Aviation Organization.
  3. ICAO Circular 344 Competency-Based Training and Assessment. International Civil Aviation Organization.

IATA文件

  1. IATA Evidence-Based Training Implementation Guide. 2nd Edition. International Air Transport Association.
  2. IATA Evidence-Based Training (EBT) Guidance Material. International Air Transport Association.
  3. IATA ALAR Toolkit. International Air Transport Association.

学术文献与行业标准

  1. Helmreich, R. L. (2000). On error management: Lessons from aviation. BMJ Quality & Safety, 9(3), 159-167.
  2. Reason, J. (1990). Human Error. Cambridge University Press.
  3. ICAO Safety Management Manual (SMM), Doc 9859. 4th Edition.
  4. Flight Safety Foundation. Line Operations Safety Audit (LOSA).
  5. CAA UK. CAP 1038: Guidelines for the Conduct of Competency-Based Training and Assessment.