AI辅助CBTA评估系统
完整的软件功能实现方案——从系统架构、模块设计、数据流到技术选型,为构建AI辅助模拟机评估系统提供可落地的工程蓝图
第一部分:系统概述
1.1 设计目标
本系统旨在将ICAO基于胜任力的培训与评估(CBTA)方法论与人工智能技术深度融合,构建一套覆盖评估全流程的数字化平台。以下是三大核心设计目标:
将ORCA(Observation-Recording-Classification-Assessment)评估流程全面数字化,实现评估数据的实时采集、结构化存储和智能分析。从传统的纸质表单和主观记忆打分,升级为数据驱动的客观评估体系。
通过AI技术(语音识别、自然语言处理、飞行参数分析)辅助教员完成OB级行为证据的自动分类和差距诊断,减轻教员工作负担的同时提升评估一致性和客观性。
建立评估-训练闭环机制,让评估数据直接驱动训练决策。通过差距图谱、训练处方和趋势追踪,实现"评估发现问题—训练解决问题—再次评估验证"的持续改进循环。
1.2 用户角色
系统面向四类核心用户角色,每类角色拥有差异化的功能权限和操作界面:
| 角色 | 职责 | 核心功能权限 |
|---|---|---|
| 检查员/教员 | 执行模拟机评估 | 评估管理、实时标注、报告生成、学员反馈 |
| 学员 | 接受评估和训练 | 查看个人报告、差距图谱、训练建议、进步趋势 |
| 训练管理者 | 管理训练质量和标准 | 数据看板、教员校准、标准管理、趋势分析 |
| 系统管理员 | 系统运维和配置 | 用户管理、权限配置、系统设置、数据备份 |
1.3 核心业务流程
系统覆盖模拟机评估的完整生命周期,从评估准备到训练闭环,形成五阶段标准化流程:
第二部分:八大功能模块
2.1 M1 — 数据采集模块
功能概述
实时采集模拟机评估过程中的多源数据,是整个系统的数据基础。该模块负责同步采集语音通信、飞行参数、视频(可选)和教员标注,并确保所有数据源的时间戳精确对齐。
子功能清单
- 1.1 语音采集:通过驾驶舱音频接口实时录制PF/PM通信和ATC通信,支持多通道分离录制
- 1.2 飞行参数采集:通过模拟机数据接口(如反射内存/网络接口)实时获取飞行参数,包括高度、速度、航向、推力、构型、FMA模式等关键参数
- 1.3 视频采集(可选):通过驾驶舱摄像头采集飞行员行为视频,用于事后回溯和辅助分析
- 1.4 时间同步:所有数据源统一时间戳,确保语音、参数、标注、视频在同一时间轴上精确对齐
- 1.5 教员标注:教员通过平板/电脑实时标注关键事件,支持标记时间点+OB编号+简要描述的快速标注模式
数据格式规范
所有采集数据统一使用JSON格式存储,标准数据结构包含以下字段:
- timestamp:UTC时间戳,毫秒精度
- source_type:数据源类型(voice/parameter/video/annotation)
- raw_data:原始数据内容
- metadata:元数据(采样率、通道信息、数据质量等)
所有数据源必须在 ±100ms 内完成时间戳对齐。这是后续AI分析和事件关联的基础——如果语音说"1000ft"的时间与飞行参数显示1000ft的时间相差超过100ms,将严重影响AI辅助分类的准确性。建议使用NTP协议统一时钟源,并在数据采集层进行二次校准。
2.2 M2 — 语音分析模块(NLP)
功能概述
对采集的驾驶舱通信进行实时语音识别和智能分析,自动提取与胜任力评估相关的行为证据。该模块是AI辅助评估的核心能力之一,直接支撑沟通(COM)胜任力的OB级评估。
子功能清单
- 2.1 实时语音转写(ASR):支持中文/英文混合通信的实时转写,延迟控制在3秒以内
- 2.2 说话人识别:区分PF/PM/ATC的通信内容,基于声纹特征和通信协议规则进行识别
- 2.3 标准喊话检测:自动识别标准喊话(如"1000ft stabilised""positive rate")并检查完整性
- 2.4 PACE升级检测:识别沟通升级模式(Probe → Alert → Challenge → Emergency),评估CRM能力
- 2.5 无线电用语合规检查:检查标准用语的使用情况,识别非标准用语和遗漏的确认回复
- 2.6 关键词/关键短语检测:实时检测"go around""missed approach""mayday"等关键短语,触发高亮标记
- 2.7 通信频率分析:统计PF/PM/ATC各自通信频率和时长,识别通信失衡模式
- 2.8 沉默时段检测:识别异常的通信沉默(可能表示SA下降或团队沟通失效),设定阈值自动预警
对应胜任力与OB
本模块直接支撑以下胜任力领域的OB评估:
- COM-OB1 至 COM-OB10:沟通胜任力的全部行为指标
- 间接支撑:SAW(情景意识)、LDR(领导力与团队合作)的部分OB
语音识别技术方案对比
方案A:OpenAI Whisper API
- 云端部署,无需本地GPU
- 中英文混合识别精度高
- 需要稳定的网络连接
- 数据需上传至外部服务器
- 按使用量计费,成本可控
- 适合:网络条件好的训练中心
方案B:本地部署Whisper模型
- 完全离线运行,数据不出内网
- 低延迟,实时性最佳
- 需要GPU服务器(推荐RTX 3090+)
- 需要自行维护模型和推理服务
- 一次性硬件投入较高
- 适合:数据安全要求高的场景
方案C:阿里云/讯飞语音API
- 国内合规,中文识别优化
- 支持航空专业词汇定制
- 网络延迟相对较低
- 数据存储在国内服务器
- 企业级SLA保障
- 适合:国内训练中心首选方案
2.3 M3 — 飞行参数分析模块
功能概述
从模拟机飞行参数中自动提取行为指标并匹配OB,将飞行数据转化为可量化的胜任力评估证据。该模块是技术含量最高的模块之一,需要深入的飞行技术和航空工程知识。
子功能清单
- 3.1 航径偏差监测:实时计算与标称航径的偏差(横向/垂直),超限时自动记录事件并关联对应OB
- 3.2 能量管理评估:监控速度/推力/构型/下滑道的能量平衡状态,识别能量偏差趋势
- 3.3 操纵品质分析:评估操纵的平滑度(操纵输入的变化率)、修正幅度和频率,量化飞行操纵技能
- 3.4 自动化模式监测:检测FMA模式变化、AP/FD/AT的接通断开时机,评估自动化管理能力
- 3.5 配置变更时机检查:检查起落架/襟翼等配置变更是否在规定高度/速度内完成
- 3.6 稳定进近评估:按稳定进近标准(1000ft AAE)自动评估各项参数是否满足标准
对应胜任力与OB
- FPM-OB1 至 FPM-OB7:飞行操纵(程序执行)
- FPA-OB1 至 FPA-OB6:飞行操纵(应用)
- SAW-OB1 至 SAW-OB2:情景意识
- PRO-OB2 至 PRO-OB6:程序应用
飞行参数与OB映射关系表
| 飞行参数 | 关联OB | 判定标准 | 阈值示例 |
|---|---|---|---|
| 横向航径偏差 | FPA-OB1, FPA-OB2 | 偏离标称航径的程度 | ILS: ±1dot; VOR: ±2.5deg |
| 垂直航径偏差 | FPA-OB1, FPA-OB3 | 偏离标称下滑道/航径角 | GS: ±1dot; VPA: ±50ft |
| 速度偏差 | FPM-OB3, FPA-OB4 | 与目标速度的偏差 | ±5kt (进近), ±10kt (其他) |
| 推力管理 | FPM-OB4, PRO-OB3 | 推力设置的及时性和合理性 | 速度偏差趋势 > 3s |
| 构型变更时机 | PRO-OB2, PRO-OB4 | 襟翼/起落架操作时机 | 按SOP规定的速度/高度窗口 |
| FMA模式变化 | FPM-OB5, FPM-OB6 | 模式识别和确认 | 每次模式变化需口头确认 |
| 稳定进近参数 | FPA-OB5, FPA-OB6 | 1000ft AAE时各参数状态 | Vref+5~-3, GS±1dot, >3deg bank |
| 操纵输入平滑度 | FPA-OB3, FPA-OB4 | 操纵杆/舵面输入变化率 | 变化率 < 阈值(需标定) |
2.4 M4 — 评估管理模块(ORCA数字化)
功能概述
将ORCA评估流程数字化,支持OB级行为证据的结构化记录。这是整个系统最核心的模块——教员日常使用最频繁的功能都集中在这里。
子功能清单
- 4.1 评估任务管理:创建/编辑/删除评估任务,关联学员、教员、场景、日期。支持批量创建和任务模板功能
- 4.2 OB评估表单:为每个胜任力的每个OB提供结构化评估界面
- OB状态选择:达标 / 部分达标 / 未达标 / 未触发
- 行为证据文本框:记录具体观察到的行为
- 关键词标签:快速标记常见行为模式
- 严重程度标记:对负面行为标记严重程度(轻微/显著/严重)
- 4.3 实时事件标注:评估过程中教员可实时标记关键事件,支持快捷键操作减少对评估流程的干扰
- 4.4 AI辅助分类:AI根据采集数据自动推荐OB分类,教员确认或修正。AI推荐附带置信度分数
- 4.5 评分汇总:自动汇总OB级评估结果,生成胜任力级评分建议(达标/需关注/未达标)
- 4.6 评估历史:查看学员的所有历史评估记录,支持按时间/场景/教员等维度筛选
核心设计理念
评估管理的核心是"让教员能够高效地记录OB级行为证据",而不是简单地给一个分数。系统的设计必须遵循以下原则:
- 评估界面不能干扰教员对模拟机运行的关注——标注操作必须简单快捷
- AI是辅助工具,最终的评估判断权始终在教员手中
- 行为证据必须具体、可追溯——"在XX时间观察到XX行为"而非笼统评价
- 评估标准必须透明一致——同一OB在不同教员之间应有可比性
2.5 M5 — 智能诊断模块
功能概述
基于评估数据自动生成胜任力差距图谱和训练处方,将评估结果转化为可操作的训练指导。该模块是系统"智能化"程度最高的部分,也是实现评估-训练闭环的关键。
子功能清单
- 5.1 差距图谱生成:可视化展示每个OB的达标情况(达标率/趋势/与基准对比),使用雷达图和热力图直观呈现
- 5.2 根因分析:对未达标OB进行根因分类(知识不足/技能欠缺/态度问题/情境因素),辅助教员制定针对性训练方案
- 5.3 训练处方生成:根据差距自动推荐训练场景和训练重点,生成结构化的训练处方文档
- 5.4 趋势分析:追踪学员多次评估的进步/退步趋势,使用折线图展示各胜任力的变化轨迹
- 5.5 同级基准对比:匿名对比同级别学员的胜任力分布(可选功能,需注意隐私保护)
- 5.6 风险预警:识别持续退步或长期未达标的OB,自动发出预警通知给训练管理者
设计哲学
智能诊断的输出必须是"可操作的"——不只是告诉学员"你哪里弱",还要告诉他"怎么练"。
- 差距图谱要能一眼看出问题所在——可视化优先
- 训练处方要具体到场景和动作——"练习ILS进近中侧风修正"而非"加强操纵能力"
- 趋势分析要能激励学员——让进步可见,让退步有预警
- 根因分析要帮助教员——区分"不会"和"不熟练"和"不在状态"
2.6 M6 — 报告中心模块
功能概述
生成和管理各类评估报告,满足不同角色的信息需求。报告是评估成果的最终呈现形式,也是训练决策的重要依据。
子功能清单
- 6.1 单次评估报告:包含OB级评估详情、差距图谱、教员评语、训练建议。支持一键生成PDF
- 6.2 阶段性总结报告:汇总一个训练周期内的所有评估结果和进步趋势,适用于阶段检查和升级评审
- 6.3 学员个人档案:完整的训练和评估历史记录,形成学员的"胜任力成长档案"
- 6.4 教员评估报告:教员的评估工作量、评分分布、一致性指标,用于教员质量管理和校准
- 6.5 训练部门报告:整体训练质量指标、通过率、常见差距分布,用于管理决策和资源分配
报告格式支持
- PDF导出:正式报告的标准格式,支持打印和存档
- 在线查看:交互式报告,支持图表缩放和数据筛选
- 打印友好版:优化排版和配色,适合黑白打印
2.7 M7 — 系统管理模块
功能概述
提供系统运维和配置管理功能,确保系统的稳定运行和灵活适应。该模块主要面向系统管理员和训练管理者。
子功能清单
- 7.1 用户管理:用户注册、角色分配、权限控制。支持RBAC(基于角色的访问控制)模型
- 7.2 胜任力框架管理:OB定义、行为锚点、评分标准的维护和更新。支持版本管理,确保评估标准的历史可追溯
- 7.3 场景库管理:评估场景的定义、OB映射关系、场景参数配置。支持场景模板的创建和共享
- 7.4 数据字典管理:术语表、缩略语、标准用语库的维护。确保全系统术语使用一致
- 7.5 系统配置:AI模型参数调整、阈值配置、通知规则。支持按训练中心/机型等维度差异化配置
- 7.6 数据备份与恢复:定期自动备份、灾难恢复方案。支持全量备份和增量备份
- 7.7 审计日志:记录所有关键操作的审计轨迹,包括操作人、时间、内容,满足合规要求
2.8 M8 — 数据看板模块
功能概述
为不同角色提供定制化的数据可视化看板,将评估数据转化为直观的管理决策信息。看板是系统"数据驱动"理念的核心呈现。
子功能清单
- 8.1 学员看板:个人差距图谱、进步趋势、训练完成度。让学员清晰了解自己的胜任力现状和发展方向
- 8.2 教员看板:待评估任务、评估进度、学员概况。帮助教员高效管理日常工作
- 8.3 管理者看板:整体训练质量、通过率趋势、常见差距TOP10、教员工作量。支撑训练管理决策
- 8.4 AI效能看板:AI分类准确率、AI推荐采纳率、数据采集完整率。持续监控AI辅助效果,驱动模型优化
可视化形式
- 雷达图:展示多维度胜任力分布
- 趋势线:展示时间序列的进步/退步
- 热力图:展示OB达标率的密集分布
- 柱状图:展示排名和对比数据
- 饼图:展示比例和构成分布
第三部分:技术架构
3.1 五层技术架构
系统采用经典的分层架构设计,从下到上分为五层,各层职责清晰、接口明确:
前端展示层
- Web应用:Vue 3 + Element Plus,响应式设计
- 平板评估端:移动端适配,支持教员实时标注
- 数据大屏:训练管理者数据看板,大屏展示
API网关层
- RESTful API:标准HTTP接口,JSON数据格式
- WebSocket:实时数据推送(语音转写、参数更新)
- 认证授权:JWT令牌 + RBAC权限控制
业务逻辑层
- 评估管理服务:ORCA流程、OB评估、任务管理
- AI分析服务:语音分析、参数分析、智能诊断
- 报告服务:报告生成、PDF导出、模板管理
- 用户服务:认证、权限、用户管理
数据处理层
- 语音处理引擎:ASR转写、说话人识别、关键词检测
- 参数分析引擎:航径偏差计算、能量管理评估、稳定进近检查
- 诊断引擎:差距分析、根因分类、训练处方生成
- 规则引擎:可配置的业务规则(阈值、标准、触发条件)
数据存储层
- PostgreSQL:结构化数据(用户、评估、OB记录)
- MinIO/S3:音频/视频文件对象存储
- Redis:缓存层(会话、实时数据、热点查询)
- Elasticsearch:全文搜索(行为证据、报告内容检索)
3.2 数据库核心表设计
以下是系统核心数据表的设计,采用PostgreSQL关系型数据库,支持JSON字段存储灵活数据:
| 表名 | 用途 | 关键字段 |
|---|---|---|
| users | 用户信息 | id, name, role, org_id |
| students | 学员信息 | id, user_id, level, batch |
| assessors | 教员信息 | id, user_id, qualification |
| assessment_tasks | 评估任务 | id, student_id, assessor_id, scenario, date, status |
| ob_evaluations | OB评估记录 | id, task_id, competency, ob_number, status, evidence, severity |
| ai_events | AI检测事件 | id, task_id, source_type, timestamp, raw_data, ob_suggestion, confidence |
| instructor_annotations | 教员标注 | id, task_id, timestamp, ob_number, description, event_type |
| flight_parameters | 飞行参数 | id, task_id, timestamp, altitude, speed, heading, thrust, config, fma_mode |
| communications | 通信记录 | id, task_id, timestamp, speaker, content, asr_confidence |
| training_prescriptions | 训练处方 | id, task_id, ob_number, gap_description, recommended_scenario, method |
3.3 关键API设计
系统采用RESTful API设计风格,以下列出核心API端点:
| 方法 | 端点 | 功能 |
|---|---|---|
| POST | /api/assessments | 创建评估任务 |
| GET | /api/assessments/{id} | 获取评估详情 |
| PUT | /api/assessments/{id}/ob/{ob_num} | 更新OB评估 |
| POST | /api/assessments/{id}/annotations | 提交教员标注 |
| GET | /api/assessments/{id}/ai-events | 获取AI检测事件 |
| POST | /api/assessments/{id}/ai-suggest | 触发AI辅助分类 |
| GET | /api/students/{id}/gap-map | 获取学员差距图谱 |
| GET | /api/students/{id}/trend | 获取学员进步趋势 |
| POST | /api/reports/generate | 生成评估报告 |
| GET | /api/dashboard/{role} | 获取数据看板 |
3.4 模拟机数据接口
不同厂商、不同型号的模拟机提供的数据接口差异很大,需要根据实际设备情况进行适配开发。以下列出三种常见的数据获取方案:
- 方案1:反射内存接口(Reflective Memory)——大多数全动模拟机支持,通过共享内存实时读取飞行参数,延迟极低(<1ms),但需要专用硬件板卡和驱动程序
- 方案2:网络数据接口(UDP/TCP)——部分模拟机支持通过网络协议输出数据,需要了解具体的协议格式并进行解析开发,延迟较低(<10ms)
- 方案3:QAR数据导出——事后分析方案,模拟机评估结束后导出QAR数据文件进行解析,非实时但实现最简单,几乎所有模拟机都支持
第四部分:部署方案与实施计划
4.1 部署架构
本地部署(推荐MVP)
- 服务器部署在训练中心本地
- 数据不出内网,满足数据安全要求
- 无需依赖外部网络,系统可用性高
- 使用Docker Compose简化部署
- 适合:单训练中心、数据敏感场景
云端部署(长期规划)
- 使用阿里云/腾讯云等国内云服务
- 支持多训练中心数据汇总和分析
- 弹性扩容,按需付费
- 自动备份和高可用架构
- 适合:多基地运营、需要集中管理
4.2 技术选型建议
| 组件 | 推荐方案 | 备选方案 | 说明 |
|---|---|---|---|
| 前端框架 | Vue 3 + Element Plus | React + Ant Design | Vue学习曲线更低,国内生态好 |
| 后端框架 | Python FastAPI | Java Spring Boot | Python AI生态更好,开发效率高 |
| 数据库 | PostgreSQL 15 | MySQL 8 | PostgreSQL支持JSON字段,查询更灵活 |
| 语音识别 | Whisper本地部署 | 讯飞/阿里云API | 本地部署保护数据隐私 |
| 数据可视化 | ECharts | D3.js | ECharts中文支持好,上手快 |
| 实时通信 | WebSocket | SSE | 双向通信需要WebSocket |
| 文件存储 | MinIO | 阿里云OSS | MinIO可本地部署,兼容S3协议 |
| 容器化 | Docker + Docker Compose | Kubernetes | MVP用Docker Compose足够 |
4.3 MVP最小可行产品(3个月实施计划)
用户认证和权限系统——实现JWT认证和RBAC权限控制
评估任务管理(M4基础功能)——评估任务的创建、编辑、列表展示
OB评估表单(数字化ORCA)——OB级评估的结构化录入界面
语音录制和转写(M2基础功能)——集成语音API实现实时转写
教员实时标注界面——平板端标注界面,支持快捷键操作
AI辅助OB分类(规则引擎,非ML)——基于规则的初步分类,验证流程可行性
评估报告PDF导出(M6基础功能)——单次评估报告的自动生成和导出
基础数据看板(M8基础功能)——学员和教员的简易看板
用户测试和迭代优化——邀请教员试用,收集反馈并优化
4.4 预估资源需求
硬件配置:1台服务器(8核16G内存 + 1T存储,GPU可选用于本地语音模型)
预算估算:软件开发约15-25万元,硬件约3-5万元,年维护约5-8万元
开发周期:MVP版本3个月,完整功能版6-9个月
第五部分:总结
系统核心价值
- 让评估数据不再流失——从"凭记忆打分"到"有据可查",每一次评估都留下完整的行为证据链
- 让评估标准更加一致——从"各自理解"到"行为锚定",AI辅助确保不同教员之间的评估一致性
- 让训练方向更加精准——从"笼统提升"到"对症下药",差距图谱和训练处方让每一分钟训练都有目标
- 让进步可以被量化——从"感觉进步了"到"数据证明进步了",趋势分析让成长轨迹清晰可见
—— AI辅助CBTA评估系统的设计初衷