转自 CAAI认知系统与信息处理专委会
多自由度 (multi-DOF) 身体运动的同步解码已成为机器人技术和人机交互 (HMI) 的热门话题。在生物医学信号中，肌电信号（electromyogram，EMG）因其具有神经基础和易用性而被广泛接受解码。根据 EMG 样本是否被标记，基于 EMG 的多自由度运动解码方法可以分为两类：监督学习和无监督学习。无监督学习由非负矩阵分解的方法表示，其中 EMG 样本在校准期间没有其真实标签。然而，矩阵分解后得到的激活系数矩阵在使用前必须手动校准。对于监督学习，主要有人工神经网络（ANN）、支持向量回归（SVR）和线性回归（LR）等方法。随着人工智能的兴起，深度学习 (DL) 方法，如卷积神经网络 (CNN)，开始显示其在运动解码方面的优势。这些基于深度学习的方法的一个优点是它们可以直接从原始 EMG 信号中提取隐含特征；而在传统上，特征选择必须通过繁重的、重复的工作手动完成。对于准确性，对手势分类和 2-DOF 运动解码的研究表明 CNN 模型具有竞争力。从鲁棒性的角度来看，基于CNN的方法经过海量数据的训练，对不确定性（个体差异、长期变化等）具有很强的泛化能力。
本文提出了一个基于 DL 的多自由度运动解码框架，其中包括一个用于 3D 运动预测的轻量级 CNN 模型、数据增强策略以增加模型的泛化能力，以及一个微调政策以提高模型的长期适应性。手腕对操作灵巧性很重要，因此将 3D 手腕运动作为解码目标来评估该方法。肌电解析的结果可以直接应用于假肢控制。此外，CNN 模型及其微调和训练策略也可以应用于一些工业场景，如机器人遥操作和人机交互。
解码模型在执行多自由度操作的机器人操纵器上进行了测试。通过集成iiwa 14（KUKA，7-DOF）和自主开发的假手（HITAPH5，6-DOF），手/臂系统可以完成各种各样的人类日常生活活动（ADL）在遥操作（主从模式）下。在平台上，操作者需要以固定的抓握模式同步控制手的位置/姿势（六个自由度）和光圈（一个自由度）。考虑到解码模型只能实现 3-DOF 控制，在操作员的肘部安装了磁位置跟踪器（Flock of Birds，Ascension Technologies，德国），用于映射 3D 姿态，将人手置于假手的位置。因此，实验中，只需要在线调节假手的姿势（三个自由度）和孔径（一个自由度）。由于在实验中需要调整手的孔径（用于抓取），解码模型中的一个手腕 DOF（Fle-Ext 或Add-Abd，根据任务）被映射到手的打开/关闭和手的物理自由度机械手设置为空闲。机器人平台如下图所示。
截肢者测试的一系列视频帧如下图所示。初步结果表明，截肢者可以随意精确地操纵虚拟手的任何单个自由度。解码结果的曲线比之前的实验更平滑，因为这里使用了微调策略来校准模型，并且大部分运动是单自由度。结果还表明，由于截肢历史较长（14 年），截肢者在进行某些 3 自由度手腕运动时感到困难。潜在的解决方案包括在系统中引入视觉/触觉反馈和进行长期运动康复训练，以重建丢失身体部位的身体模式。
