音楽可視化(CM)


コンピュータ音楽 (Computer Music)

2012/04 ~



メンバ研究紹介ビデオ 研究業績 外部リンク



藤代 一成 (Issei Fujishiro) 教授
高倉 優理子 (Yuriko Takakura) 博士1年
堀井 絵里 (Eri Horii) 修士2年
武内 航 (Koh Takeuchi) 学部4年


研究紹介
コンピュータ音楽(CM)チームでは,音楽データを視覚情報と組み合わせて提示する手法についてさまざまな角度から研究しています。音楽可視化は,「音」や「音楽」といった抽象的な事象を色や形などの視覚情報として表現することにより,音楽の新しい受容や創作方法の創出に貢献することを目指しています。また,演奏やダンスといったアニメーションを音楽と同期して生成する研究もCMチームの主要な研究領域です。Web 上での楽曲配信などが普及し,音楽データが日常生活において身近なものとなった今,それらのデータを活用した研究はますます幅広くおこなうことができると考えています。

サブプロジェクト

研究テーマ SpecTrails: コンピュータ音楽における創作過程の視覚分析
代表画像
概要 近年音響技術の発展に伴い,電子音響が広く音楽作品に採り入れられるようになりました.皆さんになじみのあるポピュラー音楽の分野のみならず,西洋クラシック音楽の流れを汲む,いわゆる現代音楽とよばれる分野においても,電子音響は音楽表現の幅を拡大させ,今なお多くの新たな創作手法が試みられています.現代音楽を代表する潮流の一つに, 1970年代以降フランスを中心として発展し, 音響分析を創作の基盤とするスペクトル楽派があります.この楽派の作曲家は,その創作過程において音響のスペクトル解析を通じて音素材の音響特性を追究するという特徴をもっています.彼らも利用する音響分析/加工/合成システムの一例として,フランスの国立機関IRCAMが開発したAudioSculptとよばれるソフトウェアが挙げられます.本研究では,このソフトウェアで音素材をスペクトルに分解した後に,各種のフィルタ効果を重ねて独特の音響を構成する過程を,作品の時間進行と作曲行程の2本の時間軸を用いて表現し,その画素指向空間基盤上の専用対話操作群によって視覚的に分析することを可能にする随伴ソフトウェアを開発しています.
紹介ポスター
研究業績 国際会議発表(口頭):Yuriko Takakura, Masanori Nakayama, Issei Fujishiro: “A Visual Analysis System for Compositional Processes of Composers in Spectral School,” in Proceedings of the 5th IIEEJ International Workshop on Image Electronics and Visual Computing, pp. 5B-2-1-5B-2-6, Da Nang (Vietnam), March 2017
国内会議発表(ポスタ):高倉優理子, 中山雅紀, 小島有利子, 藤代一成:”スペクトル楽派の作曲家を対象とした音響加工過程に関する視覚分析手法の提案,” 研究報告音楽情報科学(MUS), 2017-MUS-115(36), pp. 1-6 (2017年06月).
研究テーマ 変奏曲の可視化
代表画像
概要 私の研究テーマは「変奏曲の可視化」です.変奏曲とは主題と呼ばれる簡単な旋律が最初に示され,その後主題を様々に変化させた変奏が複数続いて構成されるものです.クラシック音楽において変奏を理解することは重要なことですが,主題がどのように変奏されているかを楽譜のみから把握するには音楽経験が必要となります.そこで,可視化を用いて変奏曲の構造理解を支援するシステムを開発しました.
我々の研究室の既存研究であるcomp-iというシステムを参考に三次元空間にオブジェクトを配置することで可視化するシステムを開発しました.具体的にはx軸に時間,y軸に音程を対応付け,z軸に各変奏を並べます.単音は円柱などのオブジェクトで表し,変奏技法とオブジェクトの形状や色を対応付ける独自のマッピングを用いてオブジェクトの色,形状を決定します.また,関連部の検索,楽曲全体の俯瞰など情報可視化システムに必要とされている対話的機能も実装しました.
紹介ポスター poster
研究業績 村岡 遼太,藤代 一成,”変奏様式に着目した変奏曲の可視化システムの構築”,情報処理学会研究報告, Vol. 2014-MUS-105, No. 13, 2014.
参考 R. Miyazaki, I. Fujishiro and R. Hiraga, “comp-i: A System for Visual Exploration and Editing of MIDI Datasets,” Proc. International Computer Music Conference 2004, pp. 157-164, 2004. DL
研究テーマ グルーヴの可視化
代表画像
概要 私たちは、「グルーヴ感」が良い曲である、などと普段の会話で用いています。この「グルーヴ」という概念は存在するにもかかわらず、それを言葉として表現することは非常に困難です。また、これは楽譜通り完璧なタイミングで演奏されることは必ずしも「グルーヴ感」の良い音楽になるわけではありません。私達は、必ずそこに存在する、しかし言葉で表しきれない「グルーヴ」を定量的なアルゴリズムを用いて可視化することを目的としています。グルーヴを分析し、数値化するだけではなく、直観的に見える形にすることによって、今まで言葉で表現しきれない「グルーヴ感」を明確な形で伝えることができるようになるでしょう。
現在の提案手法である「SeeGroove」では、電子ドラムのMIDI信号を入力として、解析、音量、タイミング、ゴーストノートなどを元に教則データとのグルーヴ感の違いを可視化します。
紹介ポスター poster
研究業績 芳賀 直樹, 中山 雅紀, 藤代 一成, “音楽演奏におけるグルーヴの可視化”, 全国大会講演論文集 2013(1), 265-267, 2013-03-06
LINK
芳賀 直樹, 中山 雅紀, 藤代 一成, “様々な音楽ジャンルにおけるリズムパターンのグルーヴ可視化”, Vol.2013-MUS-101 No.19, 2013-12-24
LINK
Issei Fujishiro, Naoki Haga and Masanori Nakayama, “SeeGroove: Supporting Groove Learning through Visualization” [CW2015]