概要
現在，肥大化するメディアデータに対処するため，様々な要約技術が発表されています．しかし，その多くは同種メディア変換であり，圧縮率に限界があります．そこで，本研究ではヴィネットイラストに注目します．ヴィネットイラストの例を以下に示します．
ヴィネットイラストは，ビデオ映像作品やゲームの物語コンテンツを凝縮して表現し，一瞥でその世界観を理解させることができます．動画からヴィネットイラストへの変換ができれば，より情報の圧縮率の高い要約が期待できます．さらに世界観の可視化も同時に実現します．そこで，本研究では動画からヴィネットイラストを半自動生成するシステムVigNet（video image genrative network）を提案します．
はじめに，システムに動画を入力します．以下は入力動画の例です．
次に，キャラクタが映ったフレームとステージが映ったフレームを，システムが何枚か自動的に選出します．ユーザは，キャラクタのフレームのグループとステージのフレームのグループの中から，最も好むフレーム画像を１枚ずつ選ぶことができます．ユーザが選んだフレームによって，ヴィネットイラストが生成されます．
最終的に，ユーザが選んだ２枚のフレーム画像から，システムが自動的にヴィネットイラストを生成します．これにより，ビューアの嗜好を反映させつつ，以下のようなヴィネットイラストを生成することができます．
メンバ
背景色が灰色のメンバは現在はプロジェクトに関わっていないメンバです．現在も藤代研究室に所属しているメンバは名前の前に藤代研のアイコン
がついています．
| 名前 | 現在の所属 | ホームページ |
|---|---|---|
 生井 麻結 | 慶應義塾大学 |
業績
下線が引いてある著者は藤代研究室所属している/所属していたメンバーです．
学術誌論文
- Mayu Namai, Issei Fujishiro：”VigNet: Semiautomatic generation of vignette illustrations from video,” to appear in Transactions on Image Electronics and Visual Computing, Vol, 12, No. 1 (special issue on IEVC 2024), June 2024
発表（査読あり）
- 生井 麻結，藤代 一成：「動画からのヴィネットイラスト半自動生成のプロトタイピング」，Visual Computing 2023予稿集，pp. 2:1―2:4, 芝浦工業大学豊洲キャンパス，2023年9月18日 (ポスタ)
発表（査読なし）
- 生井 麻結，藤代 一成：「動画からのヴィネットイラスト半自動生成～ビューアの嗜好の反映～」，映像表現・芸術科学フォーラム 2023 予稿集（映像情報メディア学会技術報告，Vol. 47, No. 9, pp.301ｰ304，AIT2023-120）, 東京工芸大学中野キャンパス（東京都中野区），ハイブリッド開催，2023年3月6日
- 生井 麻結，藤代 一成：「動画からのヴィネットイラスト半自動生成」，情報処理学会第85回全国大会講演論文集（2），pp. 933-934（6X-03），電気通信大学，ハイブリッド開催，2023年3月4日
- 生井 麻結，藤代 一成：「ヴィネットイラスト自動生成に向けたプロトタイピング」，VCワークショップ 2022 in 諏訪湖（長野），講演番号 16，2022年11月25日–26日，講演要旨: 画像電子学会誌，Vol.52，No.1，pp.244-253，2023年1月
その他
- 藤代 一成，生井 麻結：「ビジュアルインテリジェンス：AI駆動型グラフィックスの世界（2）VigNet：動画からのヴィネットイラスト半自動生成」，慶應テクノモール2023，東京国際フォーラム，2023年12月15日 (ポスタ)
- 生井 麻結，藤代 一成：「ヴィネットイラスト自動生成に向けたプロトタイピング」，情報可視化合宿，ポスタ発表，東京工業大学，2022年9月24-25日
受賞
国内受賞
- 生井 麻結：中西奨励賞，慶應大学理工学部情報工学科 卒業研究, 動画からのヴィネットイラスト半自動生成，2023年3月23日
- 生井 麻結，藤代 一成：優秀ポスター賞・企業賞（ヴォクセル），映像表現・芸術科学フォーラム 2023, 動画からのヴィネットイラスト半自動生成～ビューアの嗜好の反映～，2023年3月6日受賞
- 生井 麻結，藤代 一成：学生奨励賞，情報処理学会第85回全国大会，動画からのヴィネットイラスト半自動生成，2023年3月4日受賞
挑戦的研究（開拓）：