摘要:隐喻感情预测有助于改进社交媒体内容的用户体验，同时在心理健康监测和虚拟心理治疗方面也具有潜在价值。此外，它还可以更精确地识别目标受众的感情需求，优化广告策略，提升商业效益。为了进一步提升情绪识别与情感检测的有效性，提出了一种整合类内差异与类间关联的多模式隐喻感情识别架构。首先引出三种单模式模型，包括视觉语义模型，文本语义模型和音频语义模型，从文本、视觉和音频三种不同的数据源中分别提取每个模式的个性化差异特征；随后引出一种深度层次多模式模型，通过中间层融合的方式对多模式之间的关联性进行学习，更好地利用双模式与三模式之间提供的互补信息；最后，基于决策层融合的方式将上述四种模型进行融合，在一种端到端的框架中，实现多模式隐喻感情的预测。在开源的数据集中进行的大量消融实验与对比实验证明了方法的有效性。