rewind: 内省を目的としたWeb動画視聴履歴の可視化

概要

rewindは，個人の膨大な視聴履歴を可視化し，人生の振り返りや他人との共有を可能にするシステムです．


背景と目的

我々人間は過去の大切な瞬間の記憶を，写真や日記，旅先で買ったお土産などで記録・保存し，あとからそれらを見て当時の出来事に思いを馳せます．そのような場合の，写真や日記，お土産といったようなものを一般にメメント （英: Memento）とよびます．メメントを保存することは，過去の体験や記憶を保存するこ とに繋がります．

メメントの例


近年個人の生活に関するライフログデータは自動で多く採集できるようになっているものの，そのデータは膨大であったり多種類であったりするため，本人がそのログを整理し，そこに人生的な意味を見出す機会が生まれにくくなります．そのような状況に対して，Thudtら[1]はライフログデータを可視化し，メメントを作成することを情報可視化の新たな課題として挙げています．Thudtら[1]は視覚的に捉えることのできるメメントをビジュアルメメントと呼び，その目的とデザインの困難性を次のように定義しました．

ビジュアルメメントの目的

  • 過去の追憶
  • 個人的な思い出を他人と共有

ビジュアルメメントのデザインの困難性

  • 親密性を引き起こすマッピング
  • 過去に対する主観の表現
  • プライバシの保護

そしてThudtら[1]は移動のGPS記録からビジュアルメメントを作成するvisitsというシステムを開発しました．
 


今日，一般的に取得可能なライフログデータには心拍数，歩数，位置情報，写真，ブラウザの検索履歴など，様々存在しますが，その一つに Webの動画視聴履歴があります．Webで動画を視聴することは我々の生活のなかでますます重要な位置を占めるようになってきており，一人の Web動画の視聴履歴には，その人の日々の関心や感動体験，人生に対する影響などが隠れています．本研究では，そのような現代の我々にとってひじょうに重要な意味をもつWebの動画視聴履歴からメメントを作成する可視化手法の提案を目標とします．

rewind

rewindのシステム全体図


提案するシステムを，巻き直すという意味を込めて，rewind (リワインド) と名付けました．rewindは，YouTubeの視聴履歴を入力とし，視聴動画のサムネイルの効果的な空間配置を通じて，内省・メメントの作成を支援します．

TrendView

TrendViewのインタフェース

TrendView は数年に渡る膨大な視聴履歴の全体像を俯瞰することを目的としたもので，「流行変化量グラフ」と「ワード・サムネイルクラウド」の二つからなります．前者は数年間の自らの関心の変化の度合いを，後者は選択した時間窓での主要な興味関心の俯瞰を可能にします．ユーザは，流行変化量グラフを見て興味のある時間窓を見つけ，その時間窓でのトレンドをワード・サムネイルクラウドで確認することを繰り返し，膨大な視聴履歴の全体像を把握します．流行の変化量は，隣接する時間窓のワード・サムネイルクラウドの条件付きエントロピーで計算されます．

MapView

MapViewのインタフェース


MapViewではコンテンツが近い内容のものが近くに配置されます．その際のコンテンツ類似度計算は，Mircrosoft Computer Vision APIによるサムネイル画像のタグ付や Latent Dirichlet Allocation (LDA) によるトピック分析，t-SNE法による次元削減によって行われます．サムネイルの大きさは，視聴回数を表し，各サムネイルは視聴日時によって色付けされた矢線で結ばれています．このビューによって関心領域の時間的変遷や，自分にとって重要であった視聴を分析することができます．

TubeView

TubeViewのインタフェース
Tube View におけるサムネイル配置


TubeViewは3Dになっており，画面の奥に行くほど時間を遡ります．マウスをスクロールすることによって自由に時間軸を移動できます．このビューでは，図5に示すように，普段よく見るジャンルの動画を軸の近くに，普段見ていないジャンルの動画を軸から遠い位置に配置しています．これにより自分が通時的に情報を追っているジャンルや，逆に普段は注目していないが 一時的に自分の流行になったものなどを見つけることができます．また，3D空間で可視化することにより，視聴の文脈を直観的に振り返ることができます．



ビジュアルメメント作成ツールとしての機能


人間の過去の捉え方は常に主観的です．rewindでは，図7のように，自分の主観に応じてサムネイルの場所や大きさを変更することができます．またそのビューをメメントとして共有する際に，人に知られたくない視聴動画のサムネイルを削除することもできます．そのような変更を加えたビューを .rwnd ファイルという独自のファイル形式で保存し，そのファイルを渡すことで，他者と思い出を共有することができます．


サムネイル の場所とサイズの変更機能 (左) 変更前 (右) 変更後

没入可視化環境の適用


個人の内省をよりよく支援するために，図6のように当研究室で研究されている裸眼立体視マルチディスプレイ[2]をTubeViewに適用し，内省の没入感の向上にも挑戦しています．

直交配置マルチディスプレイによる裸眼立体視を適用したTubeView


参考文献

[1] Alice Thudt, Dominikus Baur, Samuel Huron, and Sheelagh Carpendale. Visual Mementos: Reflecting Memories with Personal Data. IEEE
Transactions on Visualization and Computer Graphics, Vol. 22, No. 1, pp. 369―378, January 2016.


メンバ



背景色が灰色のメンバは現在はプロジェクトに関わっていないメンバです．現在も藤代研究室に所属しているメンバは名前の前に藤代研のアイコンがついています．

名前現在の所属ホームページ
菅　琢哉慶應義塾大学
中山 雅紀慶應義塾大学
長澤 彦己慶應義塾大学


ビデオ



業績

国際発表

  1. Takuya Suga, Genki Nagasawa, Masanori Nakayama, Issei Fujishiro: “rewind: Visual exploration of web video viewing history for self-reflection,” in Proceedings of the Second Leipzig Symposium on Visualization in Applications (LEVIA19), Leipzig University, November 13―14, 2019, [doi: 10.31219/osf.io/f7dk9]

国内発表

  1. 菅　琢哉，中山 雅紀，藤代 一成：「rewind: 自己省察を目的としたWeb動画視聴履歴の可視化」,  Visual Computing 2019 （ポスタ）,  早稲田大学 国際会議場, 2019年6月27日―29日
  2. 菅　琢哉，中山 雅紀，藤代 一成：「rewind: 内省を目的としたWeb動画視聴履歴の可視化」, 第81回情報処理学会全国大会講演論文集(4)，福岡大学七隈キャンパス（福岡県福岡市），pp. 125―126（4ZC-08), 2019年3月14日―16日 学生奨励賞受賞
  3. 菅　琢哉，中山 雅紀，藤代一成：「rewind: Web動画視聴履歴の振返りを支援する可視化」，映像情報メディア学会技術報告，Vol. 43，No.9，pp. 131―134，早稲田大学 西早稲田キャンパス，2019年3月12日



資金

  1. 挑戦的研究 (開拓) : 19H05576 (2019―)
  2. Microsoft Research Asia CORE14

チームページに戻る