バーチャルピアニストが完成、潤音ノクトが３Ｄ演奏デビュー！ピアニストの超絶技巧と表現力に対応した新システムを開発『リアルタイム運指反映システム』初公開

株式会社KADOKAWA
～クラシック音楽×デジタル技術の新たな音楽体験を実現～

株式会社KADOKAWA（本社：東京都千代田区、取締役 代表執行役社長 CEO：夏野剛）と株式会社ドワンゴとは、東京交響楽団の特別監修のもと行う業界初の”バーチャルアーティスト”開発プロジェクト「ポルタメタ」のお披露目記者会見を6月26日（水）ミューザ川崎シンフォニーホールで開催しました。
会見では、本プロジェクトで開発したバーチャルアーティスト（ピアニスト）潤音ノクト（読み方：うるねのくと）の3D演奏姿を初めて公開し、東京交響楽団との初共演となるリハーサルを披露しました。また、プロオーケストラとのライブ合奏を実現する、ピアニストの高度な演奏技術と表現力に対応した新システム「リアルタイム運指反映システム」を初公開しました。


バーチャル空間とリアル空間の境界をなくし、オーディエンスにまったく新しいクラシック音楽の演奏体験を提供することを目指した「ポルタメタ」プロジェクトは、バーチャルアーティスト（ソリスト）とプロオーケストラが物理的には異なる場所で生演奏を行いながら、オフラインの会場で完全に同期されたアンサンブル（合奏）を披露することを実現しました。
今回、新たに開発した「リアルタイム運指反映システム」は、バーチャルピアニストがプロオーケストラとライブ共演する際、演奏技術と表現力の両面で違和感のない完璧なパフォーマンスをリアルタイムに再現します。具体的には、繊細かつ高速なピアノ演奏に対応するために「正確でなめらかな指と鍵盤の動きを再現し、音と３D映像のタイムラグの最小化する」という技術課題に取り組みました。その結果、モーションキャプチャ技術とMIDIデータ認識の組み合わせを基盤とした手法を構築し、数々のテストと細かい調整を経て新システムの開発に成功。これにより、演奏のリアリズムと精度が大幅に向上し、観客に新しい形の音楽体験を提供することが可能となりました。

また、この日、初めて「リアルタイム運指反映システム」を使用して、潤音ノクトのデビュー公演となる「フェスタサマーミューザKAWASAKI 2024」（8月開催）の東京交響楽団との共演に向けたテクニカルリハーサルを行いました。ピアノの音の出力とオーケストラの音との聞こえ方の調整や、細かなスピーカーの位置調整などを行った後、通しの演奏で締めくくり、約2時間のリハーサルが無事終了しました。リハーサル後の会見では、原田慶太楼(ポルタメタ審査委員長/東京交響楽団正指揮者)、潤音ノクト(バーチャルアーティスト／ピアニスト)が登場し、コンサート本番に向けた意気込みを語りました。


◆「フェスタサマーミューザKAWASAKI 2024」フィナーレコンサートへの意気込みコメント
【潤音ノクトより】
初めてこのコンサートに出演すると聞いたときは、こんなに大きな音楽祭で演奏ができるということが想像できなかったのですが、本番が近くなるにつれ、クラシックの世界で新しい一歩を踏み出そうとしていることを実感しました。緊張よりもわくわくドキドキが勝っていて、本番が楽しみです！


【原田慶太楼より】
フェスティバルの最後ということで華やかに終わりたい、そして常に未来を見ていきたいというメッセージを、音楽を通して、お客さんにお伝えしたいと思っています。その中で、今回のような未来性のあるプロジェクトは他にはないんじゃないかと思っていますし、テクノロジーとクラシックがマリアージュした素敵な空間になると思います。


┃「フェスタサマーミューザKAWASAKI 2024」フィナーレコンサート概要

◆日　時：2024年8月12日（月・振休）15:00開演（14:00開場｜14:20～14:40 プレトーク）
◆会　場：ミューザ川崎シンフォニーホール
◆出演者：＜指揮＞原田慶太楼（東京交響楽団 正指揮者）
＜ヴァイオリン＞川久保賜紀
＜ピアノ＞潤音ノクト（バーチャルアーティスト）
◆演奏曲：ムソルグスキー（リムスキー＝コルサコフ編）：交響詩『禿山の一夜』
吉松 隆：アトム・ハーツ・クラブ組曲第2番 op. 79a
伊福部 昭：ヴァイオリンと管絃楽のための協奏風狂詩曲
デュカス：交響詩『魔法使いの弟子』
＜Discover the Future＞ガーシュウィン：ラプソディー・イン・ブルー
◆料　金：S席5,000円　A席4,000円　B席3,000円 ※U25（小学生以上25歳以下）：各席半額
◆予約・問合：
ミューザ川崎シンフォニーホール　044-520-0200（10:00～18:00）
ミューザWebチケット：

（24時間対応／火・水2:30~5:30を除く）
◆公式サイト：

┃「ポルタメタ」概要
2023年10月にクラシック界初となる「バーチャル上に精密に楽器演奏者を再現する」技術を導入したバーチャルアーティスト開発を行うプロジェクト「ポルタメタ」を始動しました。KADOKAWAとドワンゴは、リアルとバーチャル、クラシック音楽とテクノロジーが融合した新しいコンセプトのバーチャルアーティストをプロデュースし、クラシックファンの裾野を広げることを目指します。現在は動画・SNSでの音楽活動を中心に、今後はリアルのコンサートでの演奏も視野に入れ、世界を舞台に展開していく予定です。バーチャルアーティスト・潤音ノクトは、2024年2月に行われたオーディションにてピアニストとして選定され、先日行われた「ニコニコ超会議2024」では、2Dの姿で参加しました。


◇プレスリリース（2023年10月24日：

◇「ポルタメタ」公式サイト：

◇「潤音ノクト」公式YouTube：

◇「潤音ノクト」公式X：