主観情報に基づくクロスモーダルな情報検索は，ユーザがテキストや画像を指定して音声クリップを検索できるような，柔軟な情報検索手法を実現することを目的としています．既存の手法は，映画の映像とそれに付随する音声情報，キャプションなど，メディアからの客観的な情報を用いてクロスモーダルな関係を構築しています．しかし，もともと関係のあるメディア同士でしか行えないため，クロスモーダルな情報検索の柔軟性に限界があります．
そこで本研究では，c-SNEと呼ばれるメディア片から主観的な情報を抽出し，共通の埋め込み空間に写像することができる新しいクロスモーダル確率的近傍埋込手法を提案することで，客観的な情報ではなく，メディア情報に含まれる主観的な情報類似度計算に利用し，より柔軟な情報検索を実現しました．これにより，主観的な感情状態に基づいた，よりユーザに対して直感的な印象に残りやすい情報を検索し，その結果をユーザに提示することを可能にします．
