研究シーズ2017情報メディア科学

ウェブ上の画像・映像・⾳楽のマルチメディアデータからの知識発⾒

ユ イコンテンツ科学研究系 助教

研究分野マルチメディアデータマイニング/マルチモーダル解析/深層学習

研究背景・目的

技術進歩によって、ユーザーはいつでもどこでも写真やビデオで撮影してウェブ上に共有したり、ウェブ上の写真・歌曲などに対してコメントしたりすることができるようになり、大量のデータがソーシャルプラットフォーム上に蓄積されつつあります。ユーザーのマルチメディアデータの作成・閲覧履歴などを解析することにより、ユーザーの嗜好に適したコンテンツ検索や推薦ができます。また、ユーザーの参加型センシングにより、社会動向などを考察することができます。私たちは個人レベルから社会レベルまでの、データマイニング(データ同士の相関関係、パターンを探ること)と知識の発見を中心に、身の回りの面白いものを解析、理解し、モデルをつくる研究・開発を進めています。

研究内容

私たちの研究対象は、異なった種類のデータ、例えばマルチメディアコンテンツ(画像・映像・音楽)、ユーザーのコンテンツ作成・閲覧・聴取履歴、コンテンツに対するコメントなど多岐にわたります。人々の日常生活を的確にサポートするために、検索やおすすめの情報を提供するアルゴリズムとインテリジェントシステムをつくり出すのが目的です。

ソーシャルイベント検索

  1. ユーザー生成のマルチメディアデータからユーザーのプレファレンスの解析
  2. ソーシャルマルチメディアコンテンツの解析とディープラーニング

パーソナライズド音楽推薦

  1. 簡潔な音楽特徴量の抽出
  2. 異なった属性の音楽データの解析
  3. 音楽コンテンツベースの深層学習

ウェブ上の学習資料推薦

  1. 動画内容を的確に表現するためのレクチャー動画解析
  2. 個別指導のためのユーザーの学習パターン解析

17-yuyi-02.jpg

産業応用の可能性

パーソナライズド音楽ストリーミングサービス
ユーザーのニーズや嗜好に合わせたオンライン広告
ユーザーの学習パターンに合わせた教科書作成

連絡先

ユ イ[コンテンツ科学研究系 助教]
yiyu[at]nii.ac.jp ※[at]を@に変換してください

Recommend

さらにみる