株式会社ドワンゴ（本社：東京都中央区 代表取締役社長：荒木 隆司、以下ドワンゴ）および「株式会社バーチャルキャスト（本社：北海道札幌市、代表取締役社長：松井 健太郎、以下バーチャルキャスト）」は、電子楽器用の信号を判別してバーチャルキャラクターの手先の動きに反映する「運指再現技術」を独自開発し、公式生放送での運用に成功したことをお知らせします。

＜以下、プレスリリース＞

バーチャル空間で楽器演奏の表現を可能にし、バーチャルキャラクター複数のバンド演奏などが実現可能に

キーボードの演奏を披露するときのそら	指の動き、鍵盤の凹みまで忠実に再現

ドワンゴはこれまで“ネットとリアルの融合”をコンセプトに、バーチャルキャラクターを現実空間に出現・出演させる技術の開発に継続的に取り組んできました。先日は、バーチャルキャラクターをAR合成し、屋外など場所を問わずに出演することができる生放送を可能にしたAR撮影システムを開発し、米・ロサンゼルスで開催されたE3会場から「電脳少女シロ」による現地レポート生放送に初成功するなど、これまでの経験や知見を活用した新たなシステム・取り組みを提供しています。

このたび開発した「運指再現技術」は、現実の環境で叩かれた鍵盤から出たMIDI（電子楽器用信号）データを認識し、その音の対象となるバーチャルキャラクターの指の動きをほぼリアルタイムで反映させる技術です。これにより、バーチャル空間での楽器演奏などにおいて、いままで不可能だったキャラクターの手先の動きを実際の人物の動きのように再現・反映することが可能になりました。9月8日（土）には本技術を初めて採用した番組として、バーチャルアイドル・ときのそらのニコニコ生放送デビュー1周年記念番組を放送。ときのそらがバーチャル空間に設置されたキーボードを演奏することに成功しました。手元をフォローした映像では、鍵盤を叩く指1本ずつの動きが映像に反映されています。

この技術により、キーボードなどに限らない楽器の演奏など、バーチャルキャラクターのより高度な表現を可能にしました。ドワンゴおよびバーチャル

キャストでは、これからもバーチャルキャラクターの表現力を高める技術の開発を進めていきます。

 

【運指再現技術 特徴】
●電子ピアノのどこが押下されたかをMIDI（電子楽器用信号）データで受け取り、指の動きをバーチャル上のキャラクターに反映する
●ほぼリアルタイム（1秒程度のタイムラグ）の動作反映により、生放送での自然な運指再現が実現

 

【ニコニコ生放送 実施概要】
番組名：『ときのそら』デビュー1周年 超おめでとう記念公式生放送 ～えーちゃんもいるしリサイタルもあるよ～放送日時：2018年9月8日（土） 

視聴URL: http://live.nicovideo.jp/watch/lv314826144

※9月15日（土）23:59 までタイムシフト視聴が可能です。

概要：バーチャルアイドル・ときのそらのニコニコ生放送デビュー1 周年を記念し 1 年間の足跡を振り返った生放送。番組の目玉企画として「弾き語りリサイタル」を披露し、いままで実現不可能だった、本人の手元（指先）までの動作を反映させたピアノ演奏を披露しました。

 

© DWANGO Co., Ltd.
© Virtual Cast, Inc. All rights reserved.