文化財のXR擬似体験に向けた点群からの操作体験再構成

概要

バーチャル空間では物理的制約を排除することができ，現実空間では直接触れることのできない文化財を，バーチャル空間で実際に触れて体験できるようにすることは効果的な活用方法である．コンピュータビジョン分野において，特徴点ベースのStructure from Motion, Multi View StereoやNeRFなどの高精度な三次元再構成技術が確立され始めているが，再構成された3Dモデルは静的であり，得られたモデルにユーザーが触れて変形するアプリケーションに適用することができない．

そこで本研究では，静的な点群から，操作の様子を録画した動画と手動で指定した回転軸のみを用い、回転関節を持つ単純な関節オブジェクトの動的な3Dモデルを再現した。実際に再構成された文化財は、ARおよびVR環境における一人称体験に使用できることを示した。

点群に対してパーツ推定と回転角推定を行うことで，バーチャル空間で操作体験を再現する

メンバ

藤代研究室に所属しているメンバは名前の前に藤代研のアイコンがついています．

名前	現在の所属	ホームページ
進士さくら	慶應義塾大学

業績

国際発表

[IP-1] Sakura Shinji, Issei Fujishiro “Virtual Manipulation of Cultural Assets: An Initial Case Study with Single-Joint Articulated Models”, in ACM SIGGRAPH 2023 Posters (SIGGRAPH ’23), Article 26, 1–2, Los Angeles, USA, August 6-10, 2023. DOI: 10.1145/3588028.3603649

国内発表

[DP-1] 進士さくら，藤代一成「三次元点群からの回転関節をもつ民具文化財のバーチャル操作再現」，芸術科学会 NICOGRAPH2024，発表予稿集，pp. F-6:1ーF-6:8，東京都市大学世田谷キャンパス，2024年11月9日，学生奨励賞受賞

[DP-2]進士さくら，藤代一成「動画の例示と回転軸の指定による点群からの関節体のモーション再構成」，映像表現・芸術科学フォーラム 2023 予稿集（映像情報メディア学会技術報告，Vol. 47, No. 9, AIT2023-71, pp.135ｰ138），東京工芸大学中野キャンパス（東京都中野区），ハイブリッド，2023年3月6日，優秀口頭発表賞「画像処理、変換、生成」受賞

[DP-3]進士さくら，藤代一成「回転軸の指定による点群からの関節体のモーション再構成」，情報処理学会第85回全国大会講演論文集（2），pp. 891-892（1X-06），電気通信大学，ハイブリッド開催，2023年3月2日，学生奨励賞受賞

その他

[O-1]進士さくら，藤代一成 : 「民具文化財のバーチャル操作体験に向けた関節体の動作再現」，XRミートアップ東京文化財編，東京文化財研究所，2024年11月24日

[O-2]進士さくら，藤代一成 : 「文化財のXR操作体験に向けた関節体の動作再構成」，XRミートアップ奈良文化財×XR，平城宮跡資料館，2024年6月21日

[O-3]藤代一成，進士さくら：「ビジュアルインテリジェンス：AI駆動型グラフィックスの世界（1）文化財の一人称視点操作再現」，慶應テクノモール2023，東京国際フォーラム，2023年12月15日

資金

チームページに戻る