イベント / EVENT

平成29年度 第6回 レポート

日常生活をサポートするインテリジェントシステム

国立情報学研究所は12月18日、平成29年度 市民講座「情報学最前線」第6回を開催しました。今回は、コンテンツ科学研究系 ユ イ 助教が「ウェブ上の膨大な画像・映像・音楽からの知識発見 -マルチメディア情報で暮らしをもっと楽しく-」をテーマに講義しました。

pic_report_yu.jpg

スマートフォンやタブレットなどの携帯端末の発達によって、動画や音楽、画像、文章などの大量のマルチメディアデータを誰でも手軽に生成し、ウェブ上で他人と共有することが可能になりました。ユ助教は、これらのマルチメディアデータを解析することにより、人々の日常生活を適切にサポートする検索・推薦アルゴリズムとインテリジェントシステムの研究開発に取り組んでいます。

その一つとして、ユ助教は、「動画のサウンドトラック推薦システム」を紹介しました。撮影した位置情報付きの動画から、コンピューターが地理的特徴と視覚的特徴を計算し、あらかじめ設定しておいた「Fun(楽しい)」「Angry(怒っている)」「Quiet(静か)」などの20のムードから一番適応するムードを選択します。次に、選択したムードと一致する歌曲をコンピューターがピックアップし、その候補曲の音声の特徴とユーザーのこれまでの音楽聴取履歴の相関性を計算し、相関性が高い歌曲をユーザーに推薦するというシステムです。

また、イベントの要約情報をリアルタイムで作成する「イベントビルダー」というシステムや、場所に関わるウィキペディアの記事・写真・カテゴリーと、位置情報共有サービスであるフォースクエアに投稿された写真の情報を融合し、深層学習によりきめ細かな場所を発見するシステム、音声と歌詞の相関性についての深層学習により、音声の録音から歌詞を検索したり、歌詞から音声を検索したりするシステム(相互検索)について説明し、デモンストレーションを行いました。

ユ助教は、「ユーザー中心の視点から抽出したマルチメディアデータを活用して、身近で便利に使えるインテリジェントシステムを創出してきたいと考えています」などと話しました。

参加者からは「イベントビルダーのデモが興味深かった」「音声と歌詞の相互検索システムを利用してみたい」などの感想が寄せられました。

shimin 2017-report-6 page2906

注目コンテンツ / SPECIAL