自动图像标注的异质关联模型及其与产生式模型的混合

全部作者：徐枫 章毓晋第1作者单位：清华大学电子工程系论文摘要：基于多模态数据的信息检索是1个具有挑战性的问题。在本文中，我们提出了1种关联图像和文本关键词的.新方法。首先，两个独立的空间，分别包括图像和文本词，通过并行投影互相联系起来。多模态数据间的异质相似度定义并初始化为点积的形式，可以看作鉴别式模型。尽管鉴别式方法在原理上对学习和分类有更优的性能，产生式模型在其它方面有很多优势。因此我们研究用“Fisher kernels”将产生式和鉴别式模型混合的方法。最后，我们提出迭代模型得到并优化图像和文本词间的概率关联。我们给出在自动图像标注和基于关键词的图像检索问题上的实验结果以体现我们的方法的效果。关键词：并行投影；异质相似度；Fisher核；混合模型；自动图像标注 (浏览全文)发表日期：2007年06月29日同行评议：

（暂时没有）