智东西（公众号：zhidxcom）
作者 | 王涵
编辑 | 漠影
智东(dong)西7月25日消息，7月23日，Meta现实(shi)实(shi)验室（Reality Labs）在Nature上发表最(zui)新论文(wen)《A generic non-invasive neuromotor interface for human-computer interaction》（用于人机交互的(de)通用非(fei)侵(qin)入(ru)式神经(jing)运动接口(kou)）。
这项创新主要推出了基于表面肌电图（sEMG）的通用型非侵入性神经运动接口。该接口以腕带形式(shi)呈(cheng)现，无需通过(guo)侵入(ru)性手术，就能(neng)够(gou)精准捕捉手腕部位的(de)(de)神经信号(hao)，识别包括(kuo)点击、滑动和(he)捏(nie)合在内(nei)的(de)(de)多种手势意图，甚(shen)至在手部自然下(xia)(xia)垂的(de)(de)状态(tai)下(xia)(xia)也(ye)能(neng)实(shi)现隐蔽(bi)操作(zuo)。
与传统的键盘、鼠标、触摸屏等输入设备不同，它摆脱了对中间设备的依赖。并且，相较于基于摄像头或惯性传感器的手势系统，它不受动作遮挡的影响。而与侵入性的脑机接口相比，它也无需定制解码器，且(qie)能在不(bu)同(tong)人(ren)群中(zhong)实现通用(yong)化应用(yong)。
基于300多名受试者提供的超过100小时肌电数据，研究团队还开发出具有高度适应性的机器学习模型。该模型最显著的特点是无需个人校准即可实现高精度手势识别，而仅需少量个性化数据就能将笔迹识别准确率提升16%。
Meta在2023年通过Orion AR眼镜原型(xing)完成该成果的早期技术验证。
一、高灵敏度腕带+通用解码模型
为实现这(zhei)一突破，研究团(tuan)队从硬件和模型(xing)两方面着(zhe)手。
硬件方面：该团(tuan)队(dui)研发了一款(kuan)高灵敏度(du)、易佩戴(dai)的(de)sEMG腕带(dai)（sEMG-RD）。
该腕带采(cai)用干(gan)电极(ji)、多通道(dao)记录设计，采(cai)样率达2kHz，噪音低(di)至(zhi)2.46μVrms，续航超过4小(xiao)时，且有四种尺(chi)寸以(yi)适(shi)应不同(tong)腕围。其电极(ji)布局经过优化，能精准(zhun)捕捉(zhuo)手腕、手部和前(qian)臂肌肉的电信号，甚至(zhi)可(ke)检测到(dao)单(dan)个运动(dong)单(dan)位动(dong)作电位（MUAPs）。
在研(yan)发(fa)过程(cheng)中，团队(dui)经过多(duo)次材料测(ce)试与结构优化(hua)，才确(que)定了最终(zhong)的腕带设(she)计，以(yi)确(que)保其(qi)佩戴舒适性与信号采集稳定性的平衡(heng)。
数据收集与模型训练方面：该(gai)团队构建了可扩(kuo)展的数(shu)据(ju)(ju)收集基础(chu)设施(shi)，从数(shu)千参(can)与者获(huo)取训(xun)练数(shu)据(ju)(ju)。
基(ji)于这些(xie)数据(ju)，团队(dui)开发出(chu)通用的sEMG解码模型。模型采(cai)用了(le)多种深度学习架构，如用于手腕(wan)任务(wu)的长短期(qi)记(ji)忆(yi)（LSTM）层(ceng)、用于离散手势(shi)任务(wu)的1D卷(juan)积层(ceng)加LSTM层(ceng)，以及用于手写任务(wu)的Conformer架构等(deng)，以适应(ying)不同(tong)交互场景的需求。
在模(mo)型(xing)训练阶段，研究人(ren)员还运(yun)用了迁移学习等先进技术，加(jia)速(su)模(mo)型(xing)收敛，并通过不断调(diao)整(zheng)超参(can)数，提升模(mo)型(xing)的泛化(hua)能力(li)与(yu)准确性。
二、0.88次/秒手势识别，手写输入达20.9字/分钟
在连续导航任务中，sEMG的闭环手势解码中位数性能为0.66次/秒；这意味着用户在进行连续的手势操作以控制光标等对象在屏幕上导航时，平均每秒能够实现0.66次精准的目标获取，大大提(ti)升了操作效率。
在离散手势任务中，其手势检测速率达0.88次/秒，即用户做出如握拳、伸指等离散的特定手势时，系统能够以每秒0.88次的速度快速识(shi)别(bie)并(bing)做出响应。
戴sEMG腕带的测试者，手写输入速度可达20.9字/分钟，且通过个性化调整sEMG解码模型，手写模型的解码性能可进一步提升16%。
值得一提的是，这些模型在无需针对个人进行训练或校准的情况下，就能在不同人群中表现良好。其在离线评估中，对未参与训练的参与者，手写和手势检测的分类准确率超过90%，手腕角度速度解码误差小于13°s⁻¹。
研(yan)究团队在(zai)不同年龄、性别、身体状况(kuang)的(de)志愿者群体中进行了广(guang)泛测试(shi)，均得(de)到(dao)了上述稳定且优异的(de)结(jie)果，验证了该神(shen)经运动(dong)接口的(de)通(tong)用性与可靠性。
三、未来应用：潜力广泛，前景可观
这一技术在多个领域都有着(zhe)广阔的应(ying)用前景。
日常交互：可应用于智(zhi)能(neng)手机、智(zhi)能(neng)手表、智(zhi)能(neng)眼镜等移(yi)(yi)动(dong)设备，实现无缝输入(ru)，尤(you)其适合在(zai)移(yi)(yi)动(dong)场(chang)景中(zhong)使用，解决传统输入(ru)方式在(zai)该场(chang)景下的局限性。
比如，用户在(zai)行(xing)走(zou)、乘车(che)时，无需再依赖屏幕触摸或键盘(pan)输(shu)(shu)入，仅(jin)通过简(jian)单的手部肌肉活动，就能完成(cheng)文字输(shu)(shu)入、指令下达等操作(zuo)，让信息交互更(geng)加便(bian)捷高效。
辅助技术：为行动(dong)不便者提(ti)供新的(de)交(jiao)互方式，例如那些因肌肉(rou)无力或肢体缺失(shi)而(er)难以使用传统设备的(de)人群，通过细微(wei)的(de)肌肉(rou)活动(dong)就能实现与计算机的(de)交(jiao)互。
对于肢体残疾人士，他们(men)可以(yi)借助(zhu)该接口，以(yi)自(zi)身独特的肌肉(rou)运动模(mo)式(shi)控制轮椅、假肢等辅助(zhu)设备(bei)，获得更高(gao)的生活自(zi)主(zhu)性。
医疗康复：可用(yong)于临床(chuang)诊断和康复治疗(liao)，如监测患(huan)者(zhe)的肌肉活动情况，辅助制定(ding)个(ge)性(xing)化康复方(fang)案，或作为闭环(huan)神经康复范式的一部分。
医生能够通过分析患者使用(yong)该接口时的肌肉电(dian)信号数(shu)据，更精(jing)准(zhun)地了解(jie)患者的肌肉恢复状态，及时调整康(kang)复训练计划，提高康(kang)复效果。
新型控制方式探索：有望(wang)实现对意图(tu)手势力量(liang)的直接检测，开发多自由度(du)联(lian)合控(kong)制，以及低(di)做功的控(kong)制方式(shi)，甚至可能(neng)催生出基于神经(jing)运(yun)动(dong)信号空间(jian)的全新交(jiao)互形(xing)式(shi)。
例如，在工业控制(zhi)领域，工人可以(yi)通过佩(pei)戴该接口，以(yi)更(geng)自然的方式(shi)远程操(cao)控复杂设备，减(jian)少(shao)操(cao)作失误，提高(gao)生产效(xiao)率。
此外(wai)，该技术还为脑机(ji)接口(kou)等相关(guan)领域(yu)提供(gong)(gong)了借鉴，其(qi)大规模数据收集和模型训练方(fang)法可(ke)能为解决其(qi)他(ta)接口(kou)的校准问题提供(gong)(gong)方(fang)向。
结语：下一代人机交互范式或将被重新定义
Meta在2023年通过(guo)Orion AR眼镜原型(xing)完(wan)成了技术(shu)(shu)的前(qian)期验证，2025年核(he)心研究(jiu)成果(guo)正(zheng)式被(bei)顶级学术(shu)(shu)期刊Nature收录(lu)发表。
这项(xiang)技(ji)术有望从专业AR设备(bei)逐步拓展成为通用电(dian)子设备(bei)的(de)(de)交互(hu)标准，最终(zhong)实(shi)现“让计算机理解人(ren)类手势”的(de)(de)技(ji)术愿景。
这种以人为(wei)中心的交互理念，或(huo)将(jiang)重新定义下(xia)一代人机交互范式。
