SYSTEM DESIGN · SOFTWARE ENGINEERING

AI辅助CBTA评估系统

AI-Assisted CBTA Assessment System — Functional Specification

完整的软件功能实现方案——从系统架构、模块设计、数据流到技术选型,为构建AI辅助模拟机评估系统提供可落地的工程蓝图

8大功能模块
5层技术架构
100%完整数据流
3个月MVP周期
I

第一部分:系统概述

1.1 设计目标

本系统旨在将ICAO基于胜任力的培训与评估(CBTA)方法论与人工智能技术深度融合,构建一套覆盖评估全流程的数字化平台。以下是三大核心设计目标:

目标一:评估流程数字化
将ORCA(Observation-Recording-Classification-Assessment)评估流程全面数字化,实现评估数据的实时采集、结构化存储和智能分析。从传统的纸质表单和主观记忆打分,升级为数据驱动的客观评估体系。
目标二:AI辅助行为证据分类
通过AI技术(语音识别、自然语言处理、飞行参数分析)辅助教员完成OB级行为证据的自动分类和差距诊断,减轻教员工作负担的同时提升评估一致性和客观性。
目标三:评估-训练闭环
建立评估-训练闭环机制,让评估数据直接驱动训练决策。通过差距图谱、训练处方和趋势追踪,实现"评估发现问题—训练解决问题—再次评估验证"的持续改进循环。

1.2 用户角色

系统面向四类核心用户角色,每类角色拥有差异化的功能权限和操作界面:

角色 职责 核心功能权限
检查员/教员 执行模拟机评估 评估管理、实时标注、报告生成、学员反馈
学员 接受评估和训练 查看个人报告、差距图谱、训练建议、进步趋势
训练管理者 管理训练质量和标准 数据看板、教员校准、标准管理、趋势分析
系统管理员 系统运维和配置 用户管理、权限配置、系统设置、数据备份

1.3 核心业务流程

系统覆盖模拟机评估的完整生命周期,从评估准备到训练闭环,形成五阶段标准化流程:

阶段一:评估准备
创建评估任务 → 选择评估场景 → 配置OB关注点 → 加载学员信息。教员根据训练大纲和学员当前阶段,选择合适的评估场景并预设需要重点关注的胜任力领域和OB。
阶段二:数据采集
启动模拟机 → AI实时采集语音/参数 → 教员实时标注关键事件。系统通过多源数据采集模块同步获取驾驶舱通信音频、飞行参数和教员标注,所有数据统一时间戳对齐。
阶段三:评估执行
ORCA流程 → AI辅助分类 → 教员确认/修正 → OB级证据记录。AI根据采集数据自动推荐OB分类和行为证据,教员进行最终确认或修正,确保评估的专业性和准确性。
阶段四:报告生成
AI自动生成差距图谱 → 教员补充评语 → 生成评估报告。系统自动汇总OB级评估结果,生成可视化的胜任力差距图谱,教员补充专业评语后生成正式评估报告。
阶段五:训练闭环
训练处方生成 → 下次训练计划 → 进步验证 → 趋势追踪。基于评估差距自动生成训练处方,指导后续训练计划制定,并在下次评估中验证进步效果,形成持续改进闭环。
II

第二部分:八大功能模块

2.1 M1 — 数据采集模块

功能概述

实时采集模拟机评估过程中的多源数据,是整个系统的数据基础。该模块负责同步采集语音通信、飞行参数、视频(可选)和教员标注,并确保所有数据源的时间戳精确对齐。

子功能清单

  • 1.1 语音采集:通过驾驶舱音频接口实时录制PF/PM通信和ATC通信,支持多通道分离录制
  • 1.2 飞行参数采集:通过模拟机数据接口(如反射内存/网络接口)实时获取飞行参数,包括高度、速度、航向、推力、构型、FMA模式等关键参数
  • 1.3 视频采集(可选):通过驾驶舱摄像头采集飞行员行为视频,用于事后回溯和辅助分析
  • 1.4 时间同步:所有数据源统一时间戳,确保语音、参数、标注、视频在同一时间轴上精确对齐
  • 1.5 教员标注:教员通过平板/电脑实时标注关键事件,支持标记时间点+OB编号+简要描述的快速标注模式

数据格式规范

所有采集数据统一使用JSON格式存储,标准数据结构包含以下字段:

  • timestamp:UTC时间戳,毫秒精度
  • source_type:数据源类型(voice/parameter/video/annotation)
  • raw_data:原始数据内容
  • metadata:元数据(采样率、通道信息、数据质量等)
关键技术点:时间同步是核心
所有数据源必须在 ±100ms 内完成时间戳对齐。这是后续AI分析和事件关联的基础——如果语音说"1000ft"的时间与飞行参数显示1000ft的时间相差超过100ms,将严重影响AI辅助分类的准确性。建议使用NTP协议统一时钟源,并在数据采集层进行二次校准。

2.2 M2 — 语音分析模块(NLP)

功能概述

对采集的驾驶舱通信进行实时语音识别和智能分析,自动提取与胜任力评估相关的行为证据。该模块是AI辅助评估的核心能力之一,直接支撑沟通(COM)胜任力的OB级评估。

子功能清单

  • 2.1 实时语音转写(ASR):支持中文/英文混合通信的实时转写,延迟控制在3秒以内
  • 2.2 说话人识别:区分PF/PM/ATC的通信内容,基于声纹特征和通信协议规则进行识别
  • 2.3 标准喊话检测:自动识别标准喊话(如"1000ft stabilised""positive rate")并检查完整性
  • 2.4 PACE升级检测:识别沟通升级模式(Probe → Alert → Challenge → Emergency),评估CRM能力
  • 2.5 无线电用语合规检查:检查标准用语的使用情况,识别非标准用语和遗漏的确认回复
  • 2.6 关键词/关键短语检测:实时检测"go around""missed approach""mayday"等关键短语,触发高亮标记
  • 2.7 通信频率分析:统计PF/PM/ATC各自通信频率和时长,识别通信失衡模式
  • 2.8 沉默时段检测:识别异常的通信沉默(可能表示SA下降或团队沟通失效),设定阈值自动预警

对应胜任力与OB

本模块直接支撑以下胜任力领域的OB评估:

  • COM-OB1 至 COM-OB10:沟通胜任力的全部行为指标
  • 间接支撑:SAW(情景意识)、LDR(领导力与团队合作)的部分OB

语音识别技术方案对比

方案A:OpenAI Whisper API

  • 云端部署,无需本地GPU
  • 中英文混合识别精度高
  • 需要稳定的网络连接
  • 数据需上传至外部服务器
  • 按使用量计费,成本可控
  • 适合:网络条件好的训练中心

方案B:本地部署Whisper模型

  • 完全离线运行,数据不出内网
  • 低延迟,实时性最佳
  • 需要GPU服务器(推荐RTX 3090+)
  • 需要自行维护模型和推理服务
  • 一次性硬件投入较高
  • 适合:数据安全要求高的场景

方案C:阿里云/讯飞语音API

  • 国内合规,中文识别优化
  • 支持航空专业词汇定制
  • 网络延迟相对较低
  • 数据存储在国内服务器
  • 企业级SLA保障
  • 适合:国内训练中心首选方案
推荐策略:MVP阶段建议采用方案C(阿里云/讯飞语音API),快速验证功能。后续根据数据安全要求和预算,逐步过渡到方案B(本地部署)。两种方案可并行运行,API方案作为备用。

2.3 M3 — 飞行参数分析模块

功能概述

从模拟机飞行参数中自动提取行为指标并匹配OB,将飞行数据转化为可量化的胜任力评估证据。该模块是技术含量最高的模块之一,需要深入的飞行技术和航空工程知识。

子功能清单

  • 3.1 航径偏差监测:实时计算与标称航径的偏差(横向/垂直),超限时自动记录事件并关联对应OB
  • 3.2 能量管理评估:监控速度/推力/构型/下滑道的能量平衡状态,识别能量偏差趋势
  • 3.3 操纵品质分析:评估操纵的平滑度(操纵输入的变化率)、修正幅度和频率,量化飞行操纵技能
  • 3.4 自动化模式监测:检测FMA模式变化、AP/FD/AT的接通断开时机,评估自动化管理能力
  • 3.5 配置变更时机检查:检查起落架/襟翼等配置变更是否在规定高度/速度内完成
  • 3.6 稳定进近评估:按稳定进近标准(1000ft AAE)自动评估各项参数是否满足标准

对应胜任力与OB

  • FPM-OB1 至 FPM-OB7:飞行操纵(程序执行)
  • FPA-OB1 至 FPA-OB6:飞行操纵(应用)
  • SAW-OB1 至 SAW-OB2:情景意识
  • PRO-OB2 至 PRO-OB6:程序应用

飞行参数与OB映射关系表

飞行参数 关联OB 判定标准 阈值示例
横向航径偏差 FPA-OB1, FPA-OB2 偏离标称航径的程度 ILS: ±1dot; VOR: ±2.5deg
垂直航径偏差 FPA-OB1, FPA-OB3 偏离标称下滑道/航径角 GS: ±1dot; VPA: ±50ft
速度偏差 FPM-OB3, FPA-OB4 与目标速度的偏差 ±5kt (进近), ±10kt (其他)
推力管理 FPM-OB4, PRO-OB3 推力设置的及时性和合理性 速度偏差趋势 > 3s
构型变更时机 PRO-OB2, PRO-OB4 襟翼/起落架操作时机 按SOP规定的速度/高度窗口
FMA模式变化 FPM-OB5, FPM-OB6 模式识别和确认 每次模式变化需口头确认
稳定进近参数 FPA-OB5, FPA-OB6 1000ft AAE时各参数状态 Vref+5~-3, GS±1dot, >3deg bank
操纵输入平滑度 FPA-OB3, FPA-OB4 操纵杆/舵面输入变化率 变化率 < 阈值(需标定)

2.4 M4 — 评估管理模块(ORCA数字化)

功能概述

将ORCA评估流程数字化,支持OB级行为证据的结构化记录。这是整个系统最核心的模块——教员日常使用最频繁的功能都集中在这里。

子功能清单

  • 4.1 评估任务管理:创建/编辑/删除评估任务,关联学员、教员、场景、日期。支持批量创建和任务模板功能
  • 4.2 OB评估表单:为每个胜任力的每个OB提供结构化评估界面
    • OB状态选择:达标 / 部分达标 / 未达标 / 未触发
    • 行为证据文本框:记录具体观察到的行为
    • 关键词标签:快速标记常见行为模式
    • 严重程度标记:对负面行为标记严重程度(轻微/显著/严重)
  • 4.3 实时事件标注:评估过程中教员可实时标记关键事件,支持快捷键操作减少对评估流程的干扰
  • 4.4 AI辅助分类:AI根据采集数据自动推荐OB分类,教员确认或修正。AI推荐附带置信度分数
  • 4.5 评分汇总:自动汇总OB级评估结果,生成胜任力级评分建议(达标/需关注/未达标)
  • 4.6 评估历史:查看学员的所有历史评估记录,支持按时间/场景/教员等维度筛选

核心设计理念

评估管理的核心是"让教员能够高效地记录OB级行为证据",而不是简单地给一个分数。系统的设计必须遵循以下原则:

  • 评估界面不能干扰教员对模拟机运行的关注——标注操作必须简单快捷
  • AI是辅助工具,最终的评估判断权始终在教员手中
  • 行为证据必须具体、可追溯——"在XX时间观察到XX行为"而非笼统评价
  • 评估标准必须透明一致——同一OB在不同教员之间应有可比性

2.5 M5 — 智能诊断模块

功能概述

基于评估数据自动生成胜任力差距图谱和训练处方,将评估结果转化为可操作的训练指导。该模块是系统"智能化"程度最高的部分,也是实现评估-训练闭环的关键。

子功能清单

  • 5.1 差距图谱生成:可视化展示每个OB的达标情况(达标率/趋势/与基准对比),使用雷达图和热力图直观呈现
  • 5.2 根因分析:对未达标OB进行根因分类(知识不足/技能欠缺/态度问题/情境因素),辅助教员制定针对性训练方案
  • 5.3 训练处方生成:根据差距自动推荐训练场景和训练重点,生成结构化的训练处方文档
  • 5.4 趋势分析:追踪学员多次评估的进步/退步趋势,使用折线图展示各胜任力的变化轨迹
  • 5.5 同级基准对比:匿名对比同级别学员的胜任力分布(可选功能,需注意隐私保护)
  • 5.6 风险预警:识别持续退步或长期未达标的OB,自动发出预警通知给训练管理者

设计哲学

智能诊断的输出必须是"可操作的"——不只是告诉学员"你哪里弱",还要告诉他"怎么练"。

  • 差距图谱要能一眼看出问题所在——可视化优先
  • 训练处方要具体到场景和动作——"练习ILS进近中侧风修正"而非"加强操纵能力"
  • 趋势分析要能激励学员——让进步可见,让退步有预警
  • 根因分析要帮助教员——区分"不会"和"不熟练"和"不在状态"

2.6 M6 — 报告中心模块

功能概述

生成和管理各类评估报告,满足不同角色的信息需求。报告是评估成果的最终呈现形式,也是训练决策的重要依据。

子功能清单

  • 6.1 单次评估报告:包含OB级评估详情、差距图谱、教员评语、训练建议。支持一键生成PDF
  • 6.2 阶段性总结报告:汇总一个训练周期内的所有评估结果和进步趋势,适用于阶段检查和升级评审
  • 6.3 学员个人档案:完整的训练和评估历史记录,形成学员的"胜任力成长档案"
  • 6.4 教员评估报告:教员的评估工作量、评分分布、一致性指标,用于教员质量管理和校准
  • 6.5 训练部门报告:整体训练质量指标、通过率、常见差距分布,用于管理决策和资源分配

报告格式支持

  • PDF导出:正式报告的标准格式,支持打印和存档
  • 在线查看:交互式报告,支持图表缩放和数据筛选
  • 打印友好版:优化排版和配色,适合黑白打印

2.7 M7 — 系统管理模块

功能概述

提供系统运维和配置管理功能,确保系统的稳定运行和灵活适应。该模块主要面向系统管理员和训练管理者。

子功能清单

  • 7.1 用户管理:用户注册、角色分配、权限控制。支持RBAC(基于角色的访问控制)模型
  • 7.2 胜任力框架管理:OB定义、行为锚点、评分标准的维护和更新。支持版本管理,确保评估标准的历史可追溯
  • 7.3 场景库管理:评估场景的定义、OB映射关系、场景参数配置。支持场景模板的创建和共享
  • 7.4 数据字典管理:术语表、缩略语、标准用语库的维护。确保全系统术语使用一致
  • 7.5 系统配置:AI模型参数调整、阈值配置、通知规则。支持按训练中心/机型等维度差异化配置
  • 7.6 数据备份与恢复:定期自动备份、灾难恢复方案。支持全量备份和增量备份
  • 7.7 审计日志:记录所有关键操作的审计轨迹,包括操作人、时间、内容,满足合规要求

2.8 M8 — 数据看板模块

功能概述

为不同角色提供定制化的数据可视化看板,将评估数据转化为直观的管理决策信息。看板是系统"数据驱动"理念的核心呈现。

子功能清单

  • 8.1 学员看板:个人差距图谱、进步趋势、训练完成度。让学员清晰了解自己的胜任力现状和发展方向
  • 8.2 教员看板:待评估任务、评估进度、学员概况。帮助教员高效管理日常工作
  • 8.3 管理者看板:整体训练质量、通过率趋势、常见差距TOP10、教员工作量。支撑训练管理决策
  • 8.4 AI效能看板:AI分类准确率、AI推荐采纳率、数据采集完整率。持续监控AI辅助效果,驱动模型优化

可视化形式

  • 雷达图:展示多维度胜任力分布
  • 趋势线:展示时间序列的进步/退步
  • 热力图:展示OB达标率的密集分布
  • 柱状图:展示排名和对比数据
  • 饼图:展示比例和构成分布
III

第三部分:技术架构

3.1 五层技术架构

系统采用经典的分层架构设计,从下到上分为五层,各层职责清晰、接口明确:

前端展示层

  • Web应用:Vue 3 + Element Plus,响应式设计
  • 平板评估端:移动端适配,支持教员实时标注
  • 数据大屏:训练管理者数据看板,大屏展示

API网关层

  • RESTful API:标准HTTP接口,JSON数据格式
  • WebSocket:实时数据推送(语音转写、参数更新)
  • 认证授权:JWT令牌 + RBAC权限控制

业务逻辑层

  • 评估管理服务:ORCA流程、OB评估、任务管理
  • AI分析服务:语音分析、参数分析、智能诊断
  • 报告服务:报告生成、PDF导出、模板管理
  • 用户服务:认证、权限、用户管理

数据处理层

  • 语音处理引擎:ASR转写、说话人识别、关键词检测
  • 参数分析引擎:航径偏差计算、能量管理评估、稳定进近检查
  • 诊断引擎:差距分析、根因分类、训练处方生成
  • 规则引擎:可配置的业务规则(阈值、标准、触发条件)

数据存储层

  • PostgreSQL:结构化数据(用户、评估、OB记录)
  • MinIO/S3:音频/视频文件对象存储
  • Redis:缓存层(会话、实时数据、热点查询)
  • Elasticsearch:全文搜索(行为证据、报告内容检索)

3.2 数据库核心表设计

以下是系统核心数据表的设计,采用PostgreSQL关系型数据库,支持JSON字段存储灵活数据:

表名 用途 关键字段
users 用户信息 id, name, role, org_id
students 学员信息 id, user_id, level, batch
assessors 教员信息 id, user_id, qualification
assessment_tasks 评估任务 id, student_id, assessor_id, scenario, date, status
ob_evaluations OB评估记录 id, task_id, competency, ob_number, status, evidence, severity
ai_events AI检测事件 id, task_id, source_type, timestamp, raw_data, ob_suggestion, confidence
instructor_annotations 教员标注 id, task_id, timestamp, ob_number, description, event_type
flight_parameters 飞行参数 id, task_id, timestamp, altitude, speed, heading, thrust, config, fma_mode
communications 通信记录 id, task_id, timestamp, speaker, content, asr_confidence
training_prescriptions 训练处方 id, task_id, ob_number, gap_description, recommended_scenario, method

3.3 关键API设计

系统采用RESTful API设计风格,以下列出核心API端点:

方法 端点 功能
POST /api/assessments 创建评估任务
GET /api/assessments/{id} 获取评估详情
PUT /api/assessments/{id}/ob/{ob_num} 更新OB评估
POST /api/assessments/{id}/annotations 提交教员标注
GET /api/assessments/{id}/ai-events 获取AI检测事件
POST /api/assessments/{id}/ai-suggest 触发AI辅助分类
GET /api/students/{id}/gap-map 获取学员差距图谱
GET /api/students/{id}/trend 获取学员进步趋势
POST /api/reports/generate 生成评估报告
GET /api/dashboard/{role} 获取数据看板

3.4 模拟机数据接口

模拟机数据获取是系统的核心技术难点
不同厂商、不同型号的模拟机提供的数据接口差异很大,需要根据实际设备情况进行适配开发。以下列出三种常见的数据获取方案:
  • 方案1:反射内存接口(Reflective Memory)——大多数全动模拟机支持,通过共享内存实时读取飞行参数,延迟极低(<1ms),但需要专用硬件板卡和驱动程序
  • 方案2:网络数据接口(UDP/TCP)——部分模拟机支持通过网络协议输出数据,需要了解具体的协议格式并进行解析开发,延迟较低(<10ms)
  • 方案3:QAR数据导出——事后分析方案,模拟机评估结束后导出QAR数据文件进行解析,非实时但实现最简单,几乎所有模拟机都支持
实施建议:MVP阶段使用方案3(QAR数据导出)快速验证参数分析功能,降低技术风险和开发成本。后续根据实际需求和设备条件,逐步升级到方案1(反射内存)方案2(网络接口)实现实时参数分析。方案3的数据也可用于AI模型训练和规则标定。
IV

第四部分:部署方案与实施计划

4.1 部署架构

本地部署(推荐MVP)

  • 服务器部署在训练中心本地
  • 数据不出内网,满足数据安全要求
  • 无需依赖外部网络,系统可用性高
  • 使用Docker Compose简化部署
  • 适合:单训练中心、数据敏感场景

云端部署(长期规划)

  • 使用阿里云/腾讯云等国内云服务
  • 支持多训练中心数据汇总和分析
  • 弹性扩容,按需付费
  • 自动备份和高可用架构
  • 适合:多基地运营、需要集中管理

4.2 技术选型建议

组件 推荐方案 备选方案 说明
前端框架 Vue 3 + Element Plus React + Ant Design Vue学习曲线更低,国内生态好
后端框架 Python FastAPI Java Spring Boot Python AI生态更好,开发效率高
数据库 PostgreSQL 15 MySQL 8 PostgreSQL支持JSON字段,查询更灵活
语音识别 Whisper本地部署 讯飞/阿里云API 本地部署保护数据隐私
数据可视化 ECharts D3.js ECharts中文支持好,上手快
实时通信 WebSocket SSE 双向通信需要WebSocket
文件存储 MinIO 阿里云OSS MinIO可本地部署,兼容S3协议
容器化 Docker + Docker Compose Kubernetes MVP用Docker Compose足够

4.3 MVP最小可行产品(3个月实施计划)

第1月:基础框架搭建
数据库设计和搭建——完成核心数据表设计,搭建PostgreSQL数据库
用户认证和权限系统——实现JWT认证和RBAC权限控制
评估任务管理(M4基础功能)——评估任务的创建、编辑、列表展示
OB评估表单(数字化ORCA)——OB级评估的结构化录入界面
第2月:数据采集和分析
模拟机QAR数据导入和解析(M3基础功能)——支持QAR文件上传和参数解析
语音录制和转写(M2基础功能)——集成语音API实现实时转写
教员实时标注界面——平板端标注界面,支持快捷键操作
AI辅助OB分类(规则引擎,非ML)——基于规则的初步分类,验证流程可行性
第3月:诊断和报告
差距图谱生成(M5基础功能)——可视化展示OB达标情况
评估报告PDF导出(M6基础功能)——单次评估报告的自动生成和导出
基础数据看板(M8基础功能)——学员和教员的简易看板
用户测试和迭代优化——邀请教员试用,收集反馈并优化

4.4 预估资源需求

开发团队:2-3人(1前端 + 1后端 + 1AI/数据工程师)
硬件配置:1台服务器(8核16G内存 + 1T存储,GPU可选用于本地语音模型)
预算估算:软件开发约15-25万元,硬件约3-5万元,年维护约5-8万元
开发周期:MVP版本3个月,完整功能版6-9个月
风险提示:模拟机数据接口适配是最大的技术风险。建议在项目启动前,先与模拟机厂商确认数据接口的技术细节和可行性。如果实时接口开发难度过大,可优先使用QAR事后分析方案,降低项目风险。
V

第五部分:总结

系统核心价值

  • 让评估数据不再流失——从"凭记忆打分"到"有据可查",每一次评估都留下完整的行为证据链
  • 让评估标准更加一致——从"各自理解"到"行为锚定",AI辅助确保不同教员之间的评估一致性
  • 让训练方向更加精准——从"笼统提升"到"对症下药",差距图谱和训练处方让每一分钟训练都有目标
  • 让进步可以被量化——从"感觉进步了"到"数据证明进步了",趋势分析让成长轨迹清晰可见
"好的工具不会替代专业的人,而是让专业的人做得更好。"
—— AI辅助CBTA评估系统的设计初衷
最终目标:通过技术赋能,让CBTA评估更加高效、客观、一致,最终提升飞行训练质量,保障航空安全。系统不是要取代教员的专业判断,而是为教员提供强大的数据支持和智能辅助,让他们能够将更多精力集中在真正需要人类智慧的部分——对飞行员的综合评价和个性化指导。