[00068376]一种基于图正则化与模态独立的跨模态数据检索方法及系统

交易价格： 面议

所属行业：

类型： 专利

技术成熟度： 通过小试

专利所属地：中国

专利号：201910390181.6

交易方式： 许可转让

联系人：山东师范大学

所在地：山东济南市

服务承诺: 产权明晰; 资料保密
对所交付的所有资料进行保密; 如实描述

登录后向技术服务商咨询

咨询平台客服试试在线客服吧发布技术需求交易系统

技术详细介绍

　　一种基于图正则化与模态独立的跨模态数据检索方法及系统，接收不同模态的原始数据进行特征提取，建立由一一对应的图像文本对组成的多模态数据集，包括训练集和测试集；通过最优化预定义的目标函数，将训练集中不同模态数据的特征矩阵投影到公共子空间，得到图像投影矩阵和文本投影矩阵；根据图像投影矩阵和文本投影矩阵，将测试集中不同模态数据的特征矩阵投影到公共子空间；计算投影后的矩阵与该公共子空间中其他投影矩阵的相似度；按照相似度降序排列，得到前若干个特征投影矩阵所对应的数据，进行跨模态检索。

方法	Wikipedia数据集
方法	Image-Text	Text-Image	平均值
CCA	0.226	0.246	0.236
SM	0.403	0.357	0.380
SCM	0.351	0.324	0.337
T-V CCA	0.310	0.316	0.313
GMLDA	0.372	0.322	0.347
GMMFA	0.371	0.322	0.346
MDCR	0.419	0.382	0.401
JFSSL	0.392	0.381	0.387
JLSLR	0.394	0.369	0.382
本公开	0.438	0.399	0.419

方法	Pascal Sentence 数据集
方法	Image-Text	Text-Image	平均值
CCA	0.261	0.356	0.309
SM	0.426	0.467	0.446
SCM	0.369	0.375	0.372
T-V CCA	0.337	0.439	0.388
GMLDA	0.456	0.448	0.451
GMMFA	0.455	0.447	0.452
MDCR	0.449	0.475	0.462
JFSSL	0.407	0.402	0.404
JLSLR	0.454	0.455	0.455
本公开	0.484	0.491	0.488

方法	INRIA-Websearch 数据集
方法	Image-Text	Text-Image	平均值
CCA	0.274	0.392	0.333
SM	0.439	0.517	0.478
SCM	0.403	0.372	0.387
T-V CCA	0.329	0.500	0.415
GMLDA	0.505	0.522	0.514
GMMFA	0.492	0.510	0.501
MDCR	0.520	0.551	0.535
JFSSL	0.533	0.562	0.548
JLSLR	0.525	0.545	0.535
本公开	0.539	0.558	0.549

[00068376]一种基于图正则化与模态独立的跨模态数据检索方法及系统

技术详细介绍

推荐服务：