c-SNE: 確率的近傍埋め込み法を用いた感情に基づく深いクロスモーダル検索

 主観情報に基づくクロスモーダルな情報検索は,ユーザがテキストや画像を指定して音声クリップを検索できるような,柔軟な情報検索手法を実現することを目的としています.既存の手法は,映画の映像とそれに付随する音声情報,キャプションなど,メディアからの客観的な情報を用いてクロスモーダルな関係を構築しています.しかし,もともと関係のあるメディア同士でしか行えないため,クロスモーダルな情報検索の柔軟性に限界があります.

 そこで本研究では,c-SNEと呼ばれるメディア片から主観的な情報を抽出し,共通の埋め込み空間に写像することができる新しいクロスモーダル確率的近傍埋込手法を提案することで,客観的な情報ではなく,メディア情報に含まれる主観的な情報類似度計算に利用し,より柔軟な情報検索を実現しました.これにより,主観的な感情状態に基づいた,よりユーザに対して直感的な印象に残りやすい情報を検索し,その結果をユーザに提示することを可能にします.

コメントする

メールアドレスが公開されることはありません。