近日，我校数学与信息学院、软件学院2021级本科生黎倩尔以第一作者身份在人工智能领域知名期刊Engineering Applications of Artificial Intelligence（影响因子7.5）发表了题为“Generating and Encouraging: An Effective Framework for Solving Class Imbalance in Multimodal Conversational Emotion Recognition”的学术论文。
近年来，智能个人助理（Intelligent Personal Assistants, IPAs）已成为人机交互的重要工具，具有广泛的应用，如语音助手、虚拟客服和导航等。捕捉并理解用户的突出情感需求对于提高IPA的服务质量至关重要。多模态的对话情绪识别是构建IPAs的关键，引起了越来越多的关注。该领域的先进技术是基于图模拟跨模态和单模态交互，然而这些方法忽略了对话情绪类别高度不平衡的问题，无法对少数类的情绪类别进行有效识别。目前数据挖掘的研究采用过采样的方法解决类不平衡分类。然而，它们并不适合直接应用到多模态对话情绪识别，因为它们会破坏多模态情感识别数据集本身具有的对话连贯性和模态对齐性特点，并且无法缓解因决策边界偏移导致的模型在部分多数类情绪类别上的性能下降。
对此，本研究提出了一个解决普遍存在类别不平衡问题的多模态对话情绪识别模型，其中针对多模态对话的样本生成机制解决现有方法在多模态对话情绪识别数据集上存在的应用问题，鼓励损失机制达到了缓解因决策边界偏移所导致的模型在部分多数类上性能下降的目的。通过在两个英文基准数据集和一个中文公开数据集上的对比实验表明了论文提出的方法有效地利用不平衡情绪类别的信息量，更好地对少数类的情绪类别进行识别。
论文通讯作者为计算机科学与工程系的黄沛杰和徐禹洪副教授。一直以来，数学与信息学院、软件学院高度重视学生的创新能力和科研素养的培养，支持学生自主开展创新科研活动及参加各级各类科创竞赛，鼓励学生选择科研导师，进入科研实验室，不断提升学生科研创新能力。
文图/数学与信息学院、软件学院
