[00068385]异构多模态数据分析与融合机制研究

　　多模态数据是指通过不同的平台源或媒体类型收集到同一对象的数据。对于不 同的媒体对象，尽管媒介可能不同，但它们并不是独立的，而是存在着相融互补的 关联关系。然而，由于多模态数据的异构多源、模态多样、关联关系复杂、模态缺 失的特点，导致了多模态数据分析具有很大的难度。有利的一面是，多模态异构数 据能从各自的侧面表达相同的语义信息，比单一的媒体对象及其特定的模态能够更 加全面地反映特定的内容信息，从而为理解多模态异构数据提供了线索。认知科学 研究也表明，人脑生理组织结构决定了其对外界的感知和认知过程是多种模态信息 的融合处理。
　　针对多模态大数据具有模态来源多、异构、数量大、噪声多、模态数据易缺失、 非结构化等特点，申报人从多模态哈希表示学习、跨模态知识迁移、多模态一致性 关联建模几个方面，提出了一系列异构多模态数据分析与融合方法。该系列方法旨 在融合多媒体综合体所蕴涵的内容信息时，自动挖掘并利用各模态之间形成的潜在 的语义，以增强多媒体表示的表达能力，提高多媒体应用的精准度。
　　1）多模态哈希表示学习。已有大多数性能优越的哈希方法依赖人工语义标注 提高哈希检索的精度。但是人工标签的依赖限制了哈希方法的扩展性，这违背了哈 希提高检索系统扩展性的初衷。针对该问题，申报人提出了一系列融合上下文信息 的图像二值哈希学习方法，基于“借”的思想，从免费的上下文信息中挖掘有价值的 语义信息至哈希码，在保证系统扩展性的同时，提高哈希效果。申报人提出基于语 义辅助的无监督哈希方法，通过利用免费用户标签，其性能接近部分有监督哈希方 法。异构多模协同融合是多媒体大数据应用的显著特点。然而已有的大部分哈希方 法仅关注单模态或文本和图像间的跨媒体哈希学习。少量针对多模态协同融合的哈 希学习工作又存在训练时空复杂度高、模态融合不充分、不能处理流媒体数据的问 题。针对这些问题，申报人从异构多模态数据快速协同融合、快速离散优化、模态 融合权重自适应等方面进行了系列研究工作，将多模态哈希融合的检索精度提高近 10%，最大训练效率加速近150倍，提出的方法仍然保持多模态融合哈希方法的最 佳性能。
　　2）跨模态知识迁移。已有的性能优越的多模态理解算法多是有监督的，但是 有监督学习总是面临高质量有标记训练样本稀缺的问题。为了解决稀缺问题，申报 人从“借“和“造“两方面开展了研究。具体地，一方面，申报人提出全新的异构模态域 适配算法从跨模态数据集中进行迁移学习（借）；另一方面，申报人探索了使用生 成模型直接生成跨模态数据（造）。借助这两方面的研究，申报人较为系统地挑战 了多媒体内容理解中跨模态数据分布不一致和语义标注严重缺失的两个老大难问 题，并利用跨模态知识迁移学习解决跨模态检索、社交图像检索、冷启动商品推荐 等问题。
　　3）多模态一致性建模。在多媒体推荐中，每种推荐对象（商品）在不同的方 面有自己的特点，同一用户对不同推荐对象的不同方面有不同的偏好程度。然而现 有的推荐方法对用户关注对象的不同方面采用相同的权重，他们难以准确挖掘用户 对推荐对象细粒度兴趣。针对该问题，申报人提出融合上下文信息的多模态一致性 关联模型来对用户的细粒度多样性喜好进行建模，同时提高商品个性化推荐精度和 推荐结果的可解释性。申报人提出方面感知主题模型，有效结合多模态文本评论信 息和用户点击信息，从不同的角度对用户偏好和对象特征进行一致性关联建模，估 计用户对于商品的细粒度喜好。