专访上交大吕宝粮：情感脑机接口的方向与未来

在上期新脑论坛中，吕宝粮老师以《基于多模态情感脑机接口的抑郁症客观评估》为题进行了分享。基于分享内容，“神经现实”团队对吕宝粮老师进行了更为细致地专访，与他一同探讨了有关情绪脑机接口的更多有趣的话题。

能为我们简单介绍下您的研究领域，以及目前正在进行的研究方向吗？

吕宝粮：我现在主要研究情感智能（Emotion AI），聚焦于多模态情感脑机接口及其在情感障碍疾病客观诊断方面的应用。一方面，开发深度学习算法，将其应用于多模态情感脑机接口。另一方面，开展多模态情感脑机接口的基础研究与临床落地。比如，我们正在开发基于多模态情感脑机接口的抑郁症客观评估系统和家庭情绪仪，这些研究包括设计新的情感交互范式和开发新的情绪诱发素材等。我有很长一段时间曾聚焦于基于脑电信号、眼电信号和眼动信号的疲劳驾驶检测与睡眠质量评估的研究，这些研究与我目前正在开展的多模态情感脑机接口在算法方面有很多共同之处。

您在新脑论坛上和我们分享了您团队开发的多模态情感脑机接口技术。运用脑电+眼动的多模态情绪识别，以目前的技术水平是否能够达到精确区分抑郁状态的目标？接下来的技术突破重点在什么方面？

吕宝粮：在论坛的报告中我提到，从传感器获取大脑信号的形式而言，脑机接口可分为侵入式和非侵入式两种。而从脑机接口实现的功能和用途而言，脑机接口又可分为两大类，即运动脑机接口和情感脑机接口。关于这两类脑机接口的特点可以参阅2019年南加州大学Maryam Shanechi教授发表在Nature Neuroscience上的综述。

*注

Shanechi, Maryam M. “Brain–machine interfaces from motor to mood.” Nature neuroscience 22.10 (2019): 1554-1564.

不过，该综述忽视了情感脑机接口的两个重要特点，一个是多模态信号特点，另一个是情感交互范式特点。举个例子，运动想象控制是一种经典的运动脑机接口，它只有通过脑电信号，才能完成相应的运动想象任务。对情感脑机接口而言，目标用户人群更加广泛，可以是正常人，也可以是精神疾病的患者或残疾人，多模态信号就显得特别重要，因为除了脑电信号，我们还可以利用像眼动这样的生理信号和面部表情和语音这样的非生理信号。神经科学的研究结果表明，关于情绪，我们的大脑不存在一种单一的生理信号可以精准地表征它，我们需要通过多种模态信号的整合来推断它。基于上述原因，对于情感脑机接口，我们需要研究多模态信号的获取技术和多模态信号的融合方法。

情感脑机接口的第二个特点是情感交互范式需要考虑用户的不同年龄和不同文化背景等因素，否则很难有效地诱发出被试的情绪。比如同样用短视频诱发被试高兴的情绪，对于青少年和老年人可能就需要使用不同风格的短视频。但是对于运动脑机接口，基本上不需要考虑实验范式对不同年龄段或不同文化背景的被试的影响。

将脑电信号与眼动信号融合的情绪识别方法，是我们于2014年在国际上首次提出的一种新的多模态情感脑机接口框架。为什么选用脑电信号和眼动信号融合呢？我简单介绍一下这项研究的一个小插曲。我们常说“眼睛是心灵的窗户”，大家也能亲身感受到眼神在人与人交流过程中所发挥的作用。大约在2013年前后，德国的一家叫SMI的初创公司推出了一款眼动仪眼镜。我们看了这款眼动仪眼镜的产品说明书后，觉得这款产品很棒，可以与我们当时正在使用的湿电极脑电帽组合在一起采集数据。但是，当时并不清楚眼动信号到底会在情绪识别上发挥什么样的作用，特别是眼动信号与脑电信号之间的关系。我们开展了三类情绪的诱发实验，使用湿电极脑电帽和这款眼动仪眼镜同时采集了15名被试三个不同时间段参加实验的脑电信号和眼动信号，每次实验的时间间隔是一周。

我们对实验数据的分析发现，眼动信号是一种非常好的情绪识别信号。如果单独使用脑电信号或眼动信号，其各自的识别率差不多在78%左右。但是，如果将这两种信号采用经典的集成学习融合起来，融合后三类情绪的识别率提升到了88%。

那为什么两者结合可以如此显著地提升情绪识别的准确率呢？我们通过分析实验数据发现，眼动信号和脑电信号有很好的互补特性。脑电信号对正面情绪的识别率很高，反过来眼动信号对负面情绪的识别率要优于脑电信号。特别是负面情绪很容易与中性情绪混淆，这时候眼动信号的识别错误率要远远低于脑电信号。这个脑电信号与眼动信号在三类情绪识别上的互补特性的研究结果发表在IJCAI2015上，后来我们在四类情绪识别和五类情绪识别任务上也同样验证了脑电信号与眼动信号的这种互补特性。

在学术界和工业界，过去人们关注比较多的是面部表情，但是我个人认为面部表情无法作为表征情绪的生物标记物，它只是与情绪有些关联。我们自己也有一定的体会，我们可以表面上假装很平静，但实际上心里比较焦虑。其他的生理信号，如心率，皮肤电以及呼吸等信号都与情绪有关联，但是它们与情绪的关联性都不如脑电信号。

我们目前聚焦于脑电信号与眼动信号融合的情绪识别研究，着力开发多模态深度学习和迁移学习算法以提高情绪识别的准确率。情感脑机接口研究面临的一个挑战是脑电数据集的规模非常小，这可能是由多方面原因造成的。一是脑电和眼动等生理信号的采集设备都比较昂贵，提高了从事该研究的设备门槛；二是实验过程比较复杂和费时，无法短时间内获取大量数据；三是研究者的数目相对比较少，能对外分享数据集的实验室则更少。

我们实验室自2015年10月公布的SEED系列数据集是目前全球情感脑机接口领域最大的数据集，包括三类情绪数据集SEED、四类情绪数据集SEED-IV、五类情绪数据集SEED-V、中-法跨文化三类情绪数据集SEED-FRA、中-德跨文化三类情绪数据集SEED-GRE和警觉度数据集SEED-VIG等六个子集。未来，我们会不断地增加数据集的种类和数据量。然而，SEED数据集的数据量与计算机视觉和自然语言处理领域的数据集相比，仍然非常小。

此外，进一步的研究需要招募更多的被试，扩大被试的年龄范围，这需要大量的资金投入。我们现在的SEED数据集的被试，只有学校内部募集的同学，年龄范围比较窄，所得出的结论可能无法适用于全人群。我们还需要考虑不同的文化和地域，以及其他和情绪有关的因素。目前，我们仅使用脑电信号，在SEED和SEED-IV数据集上被试依赖模型的准确率分别达到了95.32%和92.82%。我认为随着数据量的增加和深度学习算法性能的提升，情绪识别的准确率还有比较大的提升空间。

对于临床应用来说，单纯地区分健康人与抑郁症患者是不够的，需要寻找能够区分抑郁症亚型的生物标记物。如果我们能找到这些生物标记物，那将是情感障碍疾病诊断方面的一个里程碑式的突破，我们正在朝着这个目标努力。

基于情感脑机接口技术进行抑郁症客观评估探索时，如何确保相关的情感交互试验能够客观地反应被试的抑郁状态？

吕宝粮：这是一个非常重要的问题。现在国内外所有的精神类疾病的诊断，包括抑郁症和焦虑症，基本上都是依靠医生的经验和量表。它们不像糖尿病或高血压这类疾病，诊断标准是依据客观的生物标记物。尽管量表并不是毫无根据的，其背后体现了对情绪、注意力、睡眠状态以及认知功能等的评估；量表的制定也是在不断更新，比如美国发布的《精神障碍诊断与统计手册》（DSM）已经更新到了第5版了。

神经科学的研究结果告诉我们，情绪非常复杂，不存在一种单一的量化指标能够精确地表征人的情绪。过去，我们没有可穿戴设备，无法获取人的各种生理信号。如果仅从面部表情，几乎无法准确地识别人的情绪。此外，我们的语言也没法准确地表达我们的感受，只能形容一个大概。我们的近期目标是开发基于多模态情感脑机接口的抑郁症客观评估系统，该系统的设计目标是能够客观地评估抑郁症患者的抑郁状态，评估性能要达到比我们自己的表达还准确的水平。为了寻找诊断的客观指标，我们需要设计和开发一些全新的情感交互范式。按照DSM5的诊断标准，抑郁症存在9个主要的症状。如果9个症状中表现出5个，并且在20天之内都存在这些症状，那么就判定病人患有抑郁症。

举个例子，抑郁症患者的一个主要症状是自我贬低。我们正在国家脑计划项目的支持下，与抑郁症临床专家紧密合作，探索如何客观地评估这一症状。现在的挑战就是如何设计相关的情感交互范式和实验，这也是情感脑机接口与运动脑机接口相比的一个难点。对运动想象控制实验而言，它可能就是一个模式，不管老年人还是小孩，实验内容就是让他们想象右手动或想象左手动。但是对于情感脑机接口就不一样了，所设计的实验范式，既需要诱发出被试的情绪，还要让他们感到比较自然和友好。所以这是一个很大的挑战，也是全球范围内情感脑机接口研究的痛点，需要更多的情感智能和情感脑机接口研究者的关注与投入，一起来解决这些难题。

脑深部电刺激疗法（DBS）被普遍认为是治疗难治性抑郁症的一种富有前景的方法，多模态情感脑机接口如何实现帮助克服DBS目前面临的局限？您所领导的瑞金医院脑病中心米哈游联合实验室有计划开展针对性的临床试验吗？

吕宝粮：实际上抑郁症患者中，大概有20%左右的患者是难治性抑郁症。所谓难治性抑郁症是指药物疗法、物理疗法以及心理疗法等方法的疗效都欠佳。这是一个亟待解决的问题，因为患者一旦属于这种类型，导致自杀或致残的可能性会比较高。

瑞金医院开展的DBS治疗难治性抑郁症，在国际上处于前沿。我于2021年12月在瑞金医院的会议上曾经见过一位45岁的难治性抑郁症患者，他在大学期间罹患抑郁症，毕业以后完全不能独立工作。瑞金医院的孙伯民主任给他做了DBS手术之后，他就基本恢复了正常，目前在南京一家企业当木工。我认为这是一种非常有前景的技术，近几年国内外都非常重视，创新性的成果也不断涌现。比如，加州旧金山分校的华人教授Edward Chang做了很多开创性的工作，是这一领域的国际权威。当然，瑞金医院的这位病人十分幸运，得到了很好的治疗效果。实际上，目前临床治疗效果还存在很多不确定性，个体差异也比较大。

美国之前做过两个大型的多中心队列研究，但都中途叫停了。叫停的原因有很多，其中的一个重要原因是电极到底应该放到哪个位置并不是很清楚。比如，电极是放在缰核还是伏隔核。另外就是DBS脑起搏器仪器本身的问题，它原来是用于治疗帕金森疾病，并不是针对抑郁症设计的。临床上对帕金森病的评估相对比较容易，比如对震颤的评估，DBS参数设置的是否合适可以通过观察患者的行为。更智能的手段可以用计算机视觉技术进行定量分析。但是，对于抑郁症症状的评估就很难将其转换为DBS参数，这是一个尚未解决的技术难题。刚刚提到的瑞金医院成功的病例，是医生花了半年多时间，根据医生自己的经验反复调整DBS参数后才获得了如此良好的治疗效果。显然，这种靠医生经验的做法很难推广到大规模的患者人群。

回到情感脑机接口的话题，我们的研究也是2018年上海交通大学启动的第一个医工交叉重大研究项目的一部分。这个项目由七位教授组成，临床医学包括刚刚提到的瑞金医院功能神经外科的孙伯民主任和上海精卫中心的方贻儒教授。我的任务是研究基于情感脑机接口的抑郁症客观评估技术，我们希望通过跨学科的力量，让DBS中的参数设置得以优化和个性化，比如根据不同的外界环境，调整不同的刺激模式。这些过程十分复杂，尤其是当需要对DBS参数实现个性化时，我们必须有客观的评估技术，而不能依靠医生的经验。之前提到的美国队列研究叫停的另一个重要原因，是当时未能实现DBS参数的个性化。

DBS参数的个性化离不开强化学习。让参数自适应地调整，那么就有可能找到个性化的最优参数。这是一个非常有前景的研究方向，但是现在遇到的一个问题是国内的很多人，包括精神科医生，他们对DBS治疗难治性抑郁症存在认知上的一些偏差。我们发现，有些精神科医生并不相信DBS治疗方式，他们认为患者不需要进行手术治疗。另外，目前设备还比较昂贵，这也是阻碍国内在此领域开展研究的另一个重要原因。但是我个人认为，作为一种侵入式脑机接口技术，DBS脑起搏器是一个很重要的研究方向。目前国内有两家公司，苏州景昱医疗和北京品驰医疗，他们都在从事DBS相关产品的研究、开发与销售。

DBS脑起搏器不仅可以刺激，还可以获取脑信号，它作为一种侵入式脑机接口技术，实际上会比Neuralink公司开发的技术能更快地应用到病人身上。因为除了难治性抑郁症，还有精神厌食症以及药物成瘾，国内已有多家医院在开展相关的临床研究。现在临床试验遇到的瓶颈之一是招募病人的限制。此外，我们还需要各方面的努力，提高精神科医生以及大众对该领域的认知。我们需要跨学科地探索抑郁症的神经机制，了解其相关的神经回路，结合神经影像学的发展，做到DBS刺激的精准定位和参数个性化。

基于基底核的深部脑刺激，

您在新脑论坛上与我们分享，目前与米哈游共同创立的初创公司零唯一思正在开发情绪“X”光机，可以和我们介绍目前这个抑郁症客观评估系统的开发进展以及应用前景吗？在您看来，这个系统最终的呈现模式会是怎样的？

吕宝粮：我与米哈游于2021年12月1日在上海合作成立了上海零唯一思科技有限公司，零唯一思目前正在开发的一个产品叫情绪“X”光机。为什么X要打引号，意思是并不是真正使用X光技术，而只是名称上的隐喻。X光机大家一定都不陌生，无论是骨折还是肺有问题，如果去医院看医生，医生一般会开个处方，先拍个X光片子看一下情况。实际上，医生阅读X光片是通过寻找特定的生物标记物来做诊断。与传统的X光机类似，我们也希望开发出一种面向情感障碍疾病客观诊断的设备，所以我们称为情绪“X”光机。我们期待几年之后，情绪“X”光机能成为精神卫生中心和综合医院里的一套必备的检查设备。

情绪“X”光机将把所有能采集到的非侵入式生理信号和非生理信号融合起来，对患者进行5-10分钟的检查，检查完成后系统将会自动给出一个详细的客观评估报告。我们将设计出个性化的情感交互范式和交互实验，拥有针对不同人群的情绪诱发素材，涵盖全年龄段。通过情感交互实验，能够把患者的情绪状态、睡眠状态以及认知功能全部实现客观的评估。在前期阶段，我们必须以临床医生的诊断作为金标准，情绪“X”机的评估报告只能作为精神科医生诊断报告的辅助材料。但是随着临床数据的不断增加、传感器技术和人工智能技术的进一步发展，我相信我们可以寻找到情感障碍疾病诊断的生物标记物。

我认为未来情感障碍疾病的诊断一定不是以目前的量表和医生的经验为金标准，而是以客观指标为金标准。还需要多久能实现这个目标，现在还说不准，但至少我们正在朝着这个目标前进。另外，Chat-GPT的出现也为我们探寻情感障碍疾病诊断的生物标记物提供了新的启发，零唯一思正在开发面向多模态情感分析的大模型。

零唯一思在数字医疗上的布局是怎样的？研发突破重点与产业化重点分别在什么方面？可穿戴设备产业化水平如何在未来进一步提高？

吕宝粮：零唯一思采取了两步走的开发策略。第一步先做抑郁症的客观评估，第二步将开发相关的数字疗法。实际上这是一个相辅相成的过程，有了客观评估系统，才可能开发出有效的数字疗法，最终形成一个自动客观评估-数字疗法治疗的良性循环。

这里我想强调的是客观评估技术非常重要。现在不管是药物治疗，还是其他治疗方法，都没有一个客观的评估手段，这导致如果现在我们开发了一个新的数字疗法技术，我们并不能客观地评价其疗效，还是要靠临床医生去分析和判断，那么这个开发周期就会变得很长很长。

后续我们开发的数字疗法，它会有很多表现形式，游戏型的数字疗法是其中的一种表现形式，这会是我们开发的重点之一。但是，短期内我们会先从前瞻性研究开始，探索未来可行的技术方案。目前，市面上有很多游戏交互式的数字疗法，比如儿童自闭症相关的数字疗法。考虑到抑郁症本身的复杂性，需要探索全新的数字疗法架构和设计方法，相关的数字疗法也不可能一蹴而就。

我们的设计理念是要把与大家生活息息相关的生活元素融合到数字疗法里。近期，我们侧重于算法范式的设计与开发，暂时不会开发可穿戴设备，因为我觉得术业有专攻。但是未来如果是我们把系统开发完成了，那么一些关键设备就需要自己独立开发，这样才能满足产品个性化的需求。我个人认为可穿戴设备随着各种应用的不断落地，会相应地加速升级速度。

结合米哈游在游戏开发方面的优势，您的团队会在未来为旗下产品开发功能游戏吗？多模态情感脑机接口技术会如何融入其中？

吕宝粮：米哈游公司在卡通渲染、人工智能和云游戏技术等领域积累了领先的技术能力。但是，开发常规的游戏和功能游戏是不一样的。功能游戏如何设计、如何实现，它不仅需要游戏设计技术，还需要很多科学理论支撑，目前我们正在紧密合作，探索可行的技术方案。

另一方面，未来游戏的进一步发展也需要情感脑机接口技术的支撑。比如，游戏的某些环节会不会让人上瘾，可以通过多模态情感脑机接口技术进行客观和定量的评估，这样在游戏设计的初期阶段就可以基于这些定量的客观评估指标对相关环节予以控制。此外，现阶段的游戏场景与玩家的情绪状态是没有关联的，是一个开环系统。未来借助多模态情感脑机接口技术，游戏系统可以实时地感知玩家的情绪状态变化，从而与游戏的剧情发展产生联动，这样游戏就可以个性化。所以我们与米哈游的互补性特别大，米哈游可以帮助我们开发抑郁症治疗的数字疗法技术，我们的情感脑机接口技术也能为他们未来的游戏设计与开发提供情感交互的技术支持。

米哈游公司

您认为未来智能机器人将具有像人一样的情感，可以和我们聊聊，为何人工智能不仅需要识别人的情绪，还要具备情感智能，这会对未来机器人的发展有何意义与影响？

吕宝粮：关于人类的智能是如何形成的，马文·明斯基在他著名的《The Society of Mind》一书的开篇有一段描述，他认为智能（Intelligence）是由许多非智能（Non-Intelligence）涌现出来的。同样，我认为情感智能也是有许多非情感智能涌现出来的。按照这一涌现理论，我认为未来的机器人将会具有像人一样的情绪。

想象一下未来我们日常生活的一些场景。举个例子，现在我们在公园夜跑时，独自一人可能会感到不安全。如果波士顿动力的机器狗既能当宠物，又能像保镖一样陪伴着我们，那将是一种多么惬意的人机合作呢？如果有这样的商品出现，我想年轻的女性会是重要的消费人群。再畅想一下，未来的家庭服务机器人可以精确地感知人的情绪，在你不开心的时候，服务机器人会主动地来安慰你。首先，这样的机器人都需要识别人的情绪，这是最基本的功能。不然的话，机器人只能被当作目前比较普及的家用扫地机器人，每天都做同样的事情。

让机器人更像人一些，会对我们未来的生活更有益。要让机器人更像人就必须具备情感智能。简单地说，情感智能研究的重要目标之一就是如何让机器对人的情绪进行实时、准确地识别，并在此基础上进行更加自然、友好的人机交互。未来我们国家将进入老龄化社会，这些具备情感智能的人工智能产品将能更好地服务于我们的老龄化社会。对于老年人来说，一个不具备情感智能的机器人会让人产生距离感，不自然。而能识别人的情绪并表现出人的类似的情绪状态的情感机器人，则会提供更自然和友好的服务。

当然，科学技术的发展也会伴随着一些负面成分。比如，有些科幻片描绘了未来机器人把人类毁灭了等一些人工智能危险性的场景。从技术的角度看，人工智能技术在快速的发展，我们的人工智能开发者需本着服务于人类的宗旨开展研究与技术开发。而对于可能存在的负面成分和伦理问题，我们需要研究和思考。近期Chat-GPT的出现，将会加速人们对于这些负面成分和伦理的研究与探讨。我个人认为发展通用人工智能是人类认识自我和认识自然的必然结果，无法阻挡。

最后，可以和我们总结与分享，情感脑机接口技术研究亟待解决的挑战，以及您下一步的研究计划吗？

吕宝粮：我觉得主要有三方面的挑战。首要的是人才培养与科学普及，在大学里需要培养交叉学科的人才，这样学生无论将来是去企业工作还是从事科学研究，都将会更好地发挥他们的聪明才智和技术技能。但是目前国内大学的培养体系还存在许多需要改进的地方。例如，我在计算机科学与工程系，一级学科是计算机科学与技术，每年招收直博生的时候，完全无法招到跨专业的优秀学生，因为筛选标准就不包含非计算机科学与技术以外专业的本科生。另外，系里规定学术型硕士研究生毕业的基本条件是要发表CCF A类或B类论文或学校规定的A挡或B挡论文，这从源头上就限制了学生开展交叉学科研究的积极性。IEEE EMBS的Neural Engineering（NER）会议是脑机接口方向最好的国际会议之一，但该会议既没有被列入CCF论文列表，也不在学校的A、B挡论文里。连续有几年，我实验室很优秀的硕士研究生同学毕业时，我都要向系学位委员会提交报告，说明该生的研究成果和发表在NER会议上的论文达到了应有的学术水平。

对于科学普及，国家越来越重视了。实际上，对于像情感脑机接口这样的新型技术，科学普及尤为重要，这不仅可以让政府、企业家以及投资人知道它的价值和挑战，更重要的是可以让小学生和初中生这样的年轻人群激发学习的动力和产生对未来为之奋斗的梦想。

二是需要将情感脑机接口技术更好地落地应用，而不能局限于研究在某些数据集上提升模型和算法的性能，因为情感脑机接口研究的主要目标就是要实际应用。三是需要解决设备的国产化问题。我们现在使用的设备基本都是进口的。虽然国内研发的步伐也很快，但是在信号质量和可靠性方面与进口产品相比还是有一定的差距。如果可穿戴设备信号质量不行，设备佩戴很不舒适，那么它就无法应用于实际场景。假如未来这些可穿戴设备都能实现国产化，并且有良好的佩戴舒适性，我想设备的价格会大幅降低，应用和商业化市场将会非常巨大。

目前，无论是国内还是国外，大家都在关注情感智能和情感脑机接口这一新兴领域，发表的各类论文数量在快速增长，我们的SEED数据集的申请使用量也呈指数级的增长。在这个快速的发展过程中，我们需要做一些有创造性的研究，思考与别人不一样的东西，这样就会发现更多有价值的科学问题，找到更多国家需求的应用落地场景。

我自己的研究计划主要有两部分，一是与零唯一思的同学们一起奋斗，在未来3-5年内开发出情绪“X”机和家庭情绪仪这两款展品，为抑郁症的诊断与治疗提供帮助。二是完成一本情感脑机接口的教科书，为情感脑机接口方向的人才培养和科学普及贡献微薄之力。

专访嘉宾

吕宝粮

上海交通大学计算机科学与工程系二级教授