我的新闻

近日，iPatLab智能光感知团队在基于时间飞行相机的微表情识别方向取得进展，相关成果以“Multi-modal fusion for robust micro-expression detection: Integrating temporal spotting and emotion classification”为题，发表于国际知名期刊《Information Fusion》上。

微表情作为非语言交流的重要形式，在心理学研究、安全监控和医疗诊断中具有重要价值。但由于微表情的短暂性、低强度和易受光照影响等特性，传统基于单模态RGB数据的方法在未修剪视频和复杂光照条件下表现不佳。针对这些问题，本研究提出了一种端到端的时空联合检测-分类模型STCAN，能够直接从原始视频中同时定位微表情边界和分类情绪，避免传统两阶段流程中的误差累积。此外，为应对光照变化带来的挑战，本研究构建了多模态TBME数据集，同步采集主动红外、深度和RGB图像，利用红外减少环境干扰，深度保留3D面部形变，从而在极端光照下补充RGB纹理信息。核心创新包括多模态融合策略和统一的时空注意力机制，实验验证了该方法在多个数据集上优于现有技术，将微表情分析推向更健全的实际应用，在心理治疗评估、欺骗检测和神经障碍筛查等方面具有广泛潜力。

文章详见：https://www.sciencedirect.com/science/article/pii/S1566253525010577