スマホで全身のモーションキャプチャ、アプリ内の3Dキャラクターに反映！「ミチコン-VisionPose Single3D-」リリース

株式会社ネクストシステムは5月13日、スマートフォンで全身のリアルタイムモーションキャプチャを行い、動きをアプリ内の3Dキャラクターに反映するアプリ「ミチコン-VisionPose Single3D-」のリリースを発表した。
同アプリは、同社が現在開発中の「VisionPose Single3D（以下 Single3D）」の利用例として3月にデモアプリを公開した際に多くの反響があったことから、正式アプリとして公開。Single3Dを利用したアプリのお試し版として活用してほしいとのことだ。
なお、現時点ではアプリで反映できるキャラクターは同社の広報担当キャラクター「ミチコ」に限られているが、「キャラクターを変更・作成できる機能」「背景を変更できる機能」などの拡張も検討しているとのこと。

→アプリダウンロード（AppStore）※推奨端末：iPhone XR、iPhone XS／XS MAX

 

 

 

「ミチコン-VisionPose Single3D-」概要

スマホだけで全身モーションキャプチャが可能

スマホカメラに映した人の動きを、当社バーチャル広報担当の「未確認仮想広報担当ミチコ」にリアルタイムで反映できます。
通常、モーションキャプチャを行う際はカメラを複数台用意し、対象にデバイスを装着する必要がありますが、当アプリではカメラ1台で3D座標を取得可能なため、特別なデバイスを体には一切装着せず、従来より手軽なモーションキャプチャをお楽しみいただけます。

 

グリーンバック機能搭載！動画配信の小ネタにも

ライブ配信や、動画編集にもご利用しやすいよう、背景をグリーンバックに変更する機能を搭載しました。
別途ライブ配信ソフトや、動画編集ソフト等を利用することで、クロマキー合成も可能です。

 

ミチコンに搭載！VisionPose Single3Dと今後の展開について

Single3Dは当社が提供するVisionPoseシリーズの1つであり、深度センサに依存せずAIの技術要素であるディープラーニング(深層学習)を使うことで、骨格の3D座標の検出をカメラ1台のみで可能にしたシステムです。
同シリーズのステレオカメラ版VisionPoseと比べると、カメラ1つで3D座標の検出が可能なため、より手軽な利用が可能です。
カメラが1台しか用意できないケースや、スマートフォンへの搭載時などにオススメです。

Single3D提供方法

PC版とiOS版をそれぞれSDKとして提供します。

PC版：C#/C++向けのライブラリ
iOS版：Swift向けのライブラリ ※Unityサンプルコードあり

 

「ミチコン-VisionPose Single3D-」の今後の予定

Single3D、並びに当アプリの有用性を広げるため、今後は次のような機能拡張を検討しています。

• キャラクターを変更・作成できる機能
• 背景を変更できる機能
• 動画撮影時にモーションデータをCSVで保存する機能
• 全身だけではなく上半身のみでもモーショントラッキングできる機能

 

「未確認仮想広報担当ミチコ」とは

未来からネクストシステムの歴史を学ぶ研修生として、2019年3月末ネクストシステムの広報担当に着任した。その体が3DCGであることを生かした広報活動を行う。

→「未確認仮想広報担当ミチコ」紹介サイト