原地踏步,直行,转弯……在上海徐汇校园大草坪上,一只大约40厘米高的机器狗,正在根据研究生刘力菲的指令走来走去。这位戴着智能头环“遛机器狗”的女生,是华东理工大学金晶教授领衔的脑机接口及控制团队一员。3月17日,团队正在进行其最新研发成果——“面向四足控制的混合现实增强脑-机接口系统”测试。“强环境光干扰下的高性能表现,轻量化的便携设计,以及广泛的应用场景适应性,这些都标志着脑机接口技术从理论研究走向实际应用的重大突破。”信息学院、数学学院双聘导师金晶表示。
研究人员介绍,传统的脑机接口(BCI)系统,基于稳态视觉诱发电位,但进入现实场景后,面临诸多挑战。比如,它依赖个人电脑PC显示器作为视觉刺激源,容易受环境光的干扰,便携性也差,这就大大限制了它的实际应用范围和性能表现。针对这一瓶颈,金晶团队提出一种基于虚实融合控制的框架思维,通过分层异步控制策略,来增强脑机接口系统,使其具有抗干扰、高性能、轻量化、便携式等突出优势。为克服光干扰,研究团队引入混合现实技术(MR),将视觉刺激直接嵌入用户的现实视野中。通过这样的MR设备,有效克服了环境光干扰的影响,同时显著提高了信号的识别准确率。除了抗干扰,该系统的便携性和场景适应性也大大提升,为复杂环境下的机器人控制提供了更加可靠和灵活的解决方案。
解放日报·上观新闻记者了解到,该系统将任务分为近场和远场两类,并分别通过增强现实(AR)和混合现实(MR)技术进行处理。对于近场任务,系统主要依赖增强现实(AR)技术。因为近场任务通常涉及四足机器人的精细操作和局部环境交互,对控制的实时性和精度要求较高。通过AR技术,系统能够在用户的视野中实时叠加机器人的运动状态、周围环境信息以及操作引导提示,从而提升控制的响应速度与操作精度。对于远场任务,系统则通过混合现实(MR)接口进行管理。因为远场任务通常涉及全局路径规划、目标导航以及大范围环境感知等,对系统的稳定性和全局视野要求较高。通过MR技术,系统能够为用户提供全局环境信息与任务规划支持,不仅提高了控制的稳定性,还显著降低了用户的认知负担。如此一来,这种分层异步的控制策略,能够有效平衡实时性与全局性需求,为用户提供高效、直观的操作体验。此外,新系统还集成了先进的信号处理算法和机器学习模型,为用户带来更加精准和流畅的操控感。
例如,传统的BCI系统通常需要复杂的硬件设备和固定的操作环境,而新系统通过集成MR设备和无线通信模块,实现了高度便携化。用户只要佩戴轻便的MR头显和脑电采集设备,就能在任何环境里对四足机器人进行实时控制。除了助残,这对于灾害救援、野外勘探等场景特别重要。同时,通过模块化设计和灵活的算法配置,新系统还具备强大的场景适应能力,可以快速适应不同场景需求。以医疗康复领域为例,系统可以用于帮助行动障碍患者进行康复训练;而在工业巡检领域,系统可以用于控制四足机器人在复杂环境中执行设备检测、故障排查等任务。由此,新系统有望显著提升四足机器人的应用潜力。例如,在灾害救援中,救援人员可以通过脑电信号控制四足机器人进入危险区域执行搜救任务。新系统还将推动混合现实技术在智能交互领域的应用,通过MR技术与脑机接口的结合,为智能家居、智能驾驶等领域发展提供重要参考。
“这项研究为机器人控制提供了一种全新的交互范式,它通过混合现实技术与脑机接口的深度集成,能够实现对机器狗的高效、稳定控制,并且适应多种复杂场景。”金晶教授说。
原标题:沪研脑机接口让你轻松溜上机器狗,抗干扰、轻量化、便携式智能头环操控机器人