警务人机交互训练

一、产品概述

     警训基地的培训训练项目，除了理论培训，还应包括实训演练，包含体能训练、体态训练（基本动作训练）、战术协同训练、战略对抗演练等。本部分应用功能的开发，着重入训学员的基本动作体态的训练，同时也能加强体能训练。

二、核心功能

    1.演练实时对比：学员选择特定实训或考核项目后系统将给出提示学员可以考试演练动作。学员在演练区域内进行特定的实训动作，系统将通过智能视觉系统捕捉演练全过程并进行分析指导。

    2.智能视觉动作捕捉：该模块基于多摄像头融合三维人体骨架定位技术构建，实时捕捉人体骨架的三维立体坐标，进而实现实训过程动作姿态的实时抓取。该模块包括视频图像预处理，三维人体骨架提取和姿态、动作、手势分析等环节，最终可以实现完全三维还原整个实训过程的姿态动作细节。

   3.学员训练数据采集：实时分析学员的视频数据，调用引擎识别学生的行为动态详细数据。   

    4.学员模型生成：学员视频分析、模型自动生成、教学配套资源匹配、模型标签配置。   

    5.姿态对比：基于ST-GCN 时空图卷积网络模型为基础，搜集一段时间内3d骨架，对动作进行判断。提前训练好一些动作，服务器识别到骨架一段时间内同一个人骨骼点的变化，通过ST-GCN判断该时间段发生的动作。识别到指定动作时指定触发事件，如将该骨架坐标发送到服务器消息控制中心。   

    6.校准及改进建议：系统能够通过和教学资源库中标准动作的比较给出每一个环节的校准建议，学员能够逐一查看进行针对性改进。   

    7.分析引擎数据接口：实时触发响应，支持实时触发动作分析功能，提供姿态动作分析功能接口依据输入自动匹配教练模型。   

    8.人体骨骼特征抓取：人体骨架原始数据载入人体骨架坐标数据归一化，身高、位置因素过滤，整体坐标缩放适配，实现高精度动作校准姿态特征计算模型，关节特征向量生成。   

    9.实时视频流接入：支持实时视频流接入帧率不低于60帧/秒，支持H.265协议，高质量码流解析，动态分辨率及帧率配置，多视频源接入管理，实时配置视频源。   

    10.图像采集与预处理：实时图像采集，多分辨率支持自动降噪，背景噪声预处理图像格式转换、图像尺寸动态调整，基于光流算法的信息域选择算法，视觉算法加速。   

    11.教练数据采集：教练演示视频录制，实训要领载入教练模型规划。   

    12.资源详情查看：将教师的实际演练过程分项录制成为教学资源，包括演练视频、动作讲解、注意要点、实训目标等内容，学生可以选择资源进行学习。   

    13.实训及考核项目选择：系统根据学习资源列表为学生提供了自行训练以及考核的项目选择列表。学生可选择特定的项目进行自我训练获得评价及校准建议或者进行考核。项目选择支持触摸屏点击选择和语音选择两种方式。   

    14.人机交互训练姿态管理库：实现对人机交互训练姿态进行管理。   

    15.交警执勤手势训练姿态采集：   

    1) 停止信号   

    2) 示意车辆靠边停车信号   

    3) 左转弯信号   

    4) 右转弯信号   

    5) 左转弯待转信号   

    6) 减速慢行信号   

    7) 直行信号   

    8) 变道信号   

    16.敬礼训练手势姿态采集   

        上体正直，右手取捷径迅速抬起，五指并拢自然伸直，手心向下，微向外张（约20度），手腕不得弯曲，右大臂略平，与两肩略成一线，同时注视受礼者。   

    面向受礼者成立正姿势，同时注视受礼者，并目迎目送，右、左转头角度不超过45度。   

    17.枪械射击姿态采集：   

    （1）单臂据枪动作要领：   

    在握枪的基础上，身体侧对目标，两脚开立略与肩宽，身体重心位于两脚之间或偏于左脚。右手臂自然伸直抬起，枪面要正并与眼睛同高，手腕应挺住，使握枪手与臂相对固定。然后，将枪概略指向目标，如需调整指向，应根据调整幅度的大小，用移动后脚或手臂的方法进行调整，切忌用扭动手腕的做法进行调整。左手可根据射击的要求和需要做相应的辅助动作。   

    （2）双臂据枪动作要领：   

    身体与目标呈45度角，两脚开立略与肩宽；右手握枪用力前伸指向目标，左手由前向后包握右手，掌心相对并用力后拉，左臂肘部向下约呈90度角，以右臂直臂前顶，左臂屈臂后拉之合力进行稳固地据枪。这种据枪的特点是：简单易学，在常规射击中能有效提高命中率；特别适用于近距快速射击，以及双击和密集射击，能有效提高手枪的战斗射速。   

    18.挥打警棍姿态采集   

    动作要领：   

    ①右脚上步成右弓步，右手持警棍迅速向前戳击，臂高于肩，左臂自然后摆，拳眼向前，目视前方。   

    ②左脚向右脚后垫步，右脚提起，右手持警棍屈肘于腹前，右脚向前落地成右弓步的同时，迅速将警棍向前戳击，大腿与地面成水平，上体前倾，臂与棍略成直线，随即右臂屈肘回收，小臂略平，左臂置于左后侧，拳眼向前，目视前方。撤右步恢复格斗势。   

    要求：垫步要快，戳击要准，上步与戳击要连惯协调。   

    19.喷催泪瓦斯姿态采集   

    动作要领：   

    ①用手掀开顶头的保护盖，露出红色的喷射按钮。   

    ②将催泪瓦斯持于腰腹部位，食指放在喷射按钮上，手臂向前自然弯曲，另一只手心向上托住右手腕。   

    ③将红色的喷射孔对准目标。   

    20.电击枪姿态采集   

    动作要领：单手据枪，拔枪，双手持枪，电击发射，回枪等标准化动作训练。      

    21. 人机交互训练系统行为分析   

    1）视频分析：基于多视角立体视觉对多个视角获取摄像机拍摄的人体关键点坐标，完成匹配和深度估计。内容包括对相机的初始矩阵（部署空间相对位置、转向、分辨率、曲率等内外参）计算。使用摄像机矩阵对多相机同目标点坐标3D重建。   

    2）分析数据解析：从动作分析引擎获得分析结果数据分析数据解析，动作偏移数据提取。   

    3）指导建议生成：人体关节动作偏移数据导入，基于专家网络的指导建议自动生成算法，指导建议序列化，指导建议输出。   

    4）智能评价生成：智能评价模型，动作契合度评分，综合评分计算，基于NLP的智能评价生成算法。   

    5）实时分析报告与实训能力画像：该模块能够15帧/秒、30帧/秒、60帧/秒抓取学生动作画面并提取骨架进行分析，实时分析报告精确给出学生每个动作的标准性评价、连续的评价曲线以及总体评价。通过分析数据和能力模型对学生的演练进行实训能力画像。   

    6）面部微表情分析：在礼仪培训等应用领域对学生面部表情呈现也有要求。因此系统提供精细的面部微表情捕捉，通过与教学资源中的表情对比进行评价和校准建议。分析报告中将会给出表情细节校准建议。   

    22.行为分析主机

    系统配套，系统的运行需要边缘计算主机及数据和视频显示，学员需要根据训练要求做相应操作。

    1）内置工作站：

    CPU：配置不低于酷睿i9 10代系列（CPU主频：3.7GHz，20MB高速缓存）

    内存：内容容量不小于32G

    显卡：性能不低于NVIDIA RTX30系列-GeForce RTX 3090

    硬盘：硬盘容量不低于2T

    2）系统动作捕捉摄像头：4K（3840*2160）超高清60FPS，AI人形跟踪，内嵌NNE硬件单元，利用深度学习技术，通过提取目标特征，无论人脸朝何处，都能实现流畅的人形跟踪，适用于讲座、演讲等场景的演讲者自动跟踪。提供RS232、RS485、IP等多种控制方式，支持SCA、 Pelco-D、 Pelco-P、 VSCA Over P和ONVF P等标准协议，可灵活方便的对摄像机进行本地和远程控制。支持HDM2.0、IP、USB3.0、3G-SDI同时输出。   

三、建设意义

    人工智能技术与警训基本动作的相结合

    实现系统化标准化规范化的动作教学示范

    将动作训练碎片化实时化常态化

    大大提升警务训练的效率和质量