目線の動きや揺らぎ。瞳孔の開き方。時に目は口で喋るよりも饒舌に感情を表すことから、「目は口ほどに物を言う」ということわざがあります。
ところでこのことわざを「手は口ほどに物を言う」と言い換えたくなるシーンを見たことはありませんか？
驚いたときに口を手で押さえる、自己防衛から腕を組む、深く考えるときに顎を触るetc.。現実ではスルーしがちですが、映画やアニメ、マンガなどを見ると、手の動きで言外の感情を表現していることが多いことに気がつくでしょう。
ダンスやボーカルパフォーマンス、そして演劇においても、手の表現力は重要です。その繊細な動きを全世界のVTuberやVRユーザーにもたらすモーションキャプチャーグローブ「StretchSense Studio Glove」が日本でも販売されることになりました（左右1組セットで税込み126,500円）。
開発したのはニュージーランドの「Sensor Holdings Limited」。指先1つ1つの動きをきめ細やかにキャプチャする、ゲームスタジオ/VFXスタジオ用モーションキャプチャーグローブを開発してきた企業です。
彼らがコンシューマー向けとしてもリリースする「StretchSense Studio Glove」は、いったいどのような製品なのでしょうか。
手と指の繊細な動きを捉えるグローブ型のモーションキャプチャー
一見すると指抜きグローブに見える「StretchSense Studio Glove」。内部には人工筋肉を思わせるラバーバンド状のストレッチセンサーが各指部分に備わっており、握る、開く、縮めるなどの動きを検出。PCの対応アプリに遅延なく手の形を伝えます。モーションキャプチャのレートは60Hzとのこと。
データの伝送はワイヤレス。そのため「StretchSense Studio Glove」には16ものセンサーが組み込まれたグローブのほか、通信用のUSBドングルもセットになっています。
手の甲には、通信のための回路やバッテリーが収まるユニットに、手の高さや向きを計測するためのトラッカーを固定するマウントが備わっています。ドングルとグローブの最大通信距離は50フィート（約15メートル）。バッテリー駆動時間は12時間以上です。
「StretchSense Studio Glove」自体は手のひら、指先のモーションデータをキャプチャするための機器であり、手の向きや高さを計測する加速度センサーなどは入っておりません。そのため腕を含めた全身のモーションをキャプチャする際には、フルボディトラッキング用デバイスが必要となります。
「Warudo」「バーチャルモーションキャプチャー」「Unity」「UE5」といった対応ソフトとグローブを連動した場合、Lighthouse方式のTundra Tracker、VIVEトラッカー（2018/3.0）、そしてベースステーションを必要としないmocopiなどと併用して、手の向きや高さを調整することが可能。環境を選ばずに、詳細な手のモーションデータが取れる仕様なのですね。
グローブそのものの素材は、ウェットスーツなどで使われるネオプレーン。伸縮性、耐熱性、耐摩耗性、耐水性に優れているという特徴があり、指も自由に動かせます。
手の甲のユニットを外せば、丸洗いしても問題ありません。ただし洗濯機で洗う場合は、付属の洗濯ネットに入れるようにしましょう。
アバターとの同一感が加速する分解能の高さに驚く
「StretchSense Studio Glove」を使用するには、トラッカーを固定してから付属アプリの「Hand Engine Lite」でキャリブレーションを行います。右手、左手の順番で、画面に表示された通りに手を動かしていくのですが、この時、手の位置は向きは気にしなくてかまいません。両手のキャリブレーションにかかった時間は30秒ほどでした。
動作確認には、VR機器でVRM形式の3Dアバターを操作する際によく利用される「バーチャルモーションキャプチャー（通称：ばもきゃ）」を用いました。このときはベースステーションを筆者の真正面に設置した1台しか使わなかったために、手のひら側を見せる位置にするとややトラッキングが不安定になっていますが、2台以上設置して死角を減らせば問題ありません。
それにしても、手の動きをアバターに反映できているのを目の当たりにするのは新鮮な驚きがあります。手刀や張り手やグーパンチだけではありません。人差し指と小指はスラッと伸ばし、中指と薬指はなだらかなアーチを描かせたうえで親指を手のひら側に隠すバレエ・ダンスの手の形も、コントローラのボタン操作をすることなく、難しいことは一切考えずに直感的に投影できるのですから。
指先まで高解像にキャプチャして、ほぼ遅延なくアバターに表現を写せることを見ていると、自己と、ディスプレイ内に映っているアバターが同一のものなのだと思えてくる感覚が思考に覆いかぶさってきます。
アバターを通してボーカルのアクションや、ギタリスト、ピアニストの技法もリアリティたっぷりに見せることができる。「StretchSense Studio Glove」は装着がカンタン、セッティングも短時間で済むことを考えると、今までよりも多彩な表現で魅せたいVTuber向けデバイスとして最適だと感じます。
また今後はVRChatをはじめとしたSteamVRアプリ向けのアップデートも予定しているとのこと。VRChat内で活動しているパフォーマーやアーティストにとっても見逃せない存在となるでしょう。
スタンドアローンXRヘッドセットとの連携も視野に入れている
日本での発売開始に合わせ来日した、StretchSenseの共同創設者兼パートナーシップ/新規市場担当であるBen O’Brien（ベン・オブライエン）氏に話を聞きました。
——StretchSenseがどのような経緯でモーションキャプチャーグローブの開発に取り組むことになったのか、その背景を教えてください。
ベン：
2012年、大学発のベンチャーとして会社を設立した時から、モーションキャプチャーグローブを作りたいと考えていましたが、当時はまだモーションキャプチャーの市場がなかったこと、技術が追いついていなかったこともあり、身体のいろんな部分を計測するための伸縮するストレッチセンサー技術をいろんな会社に技術提供をしていました。
その後、2018年ぐらいに大きな案件がキャンセルになってしまったのです。その時に、何かしようかという話になって、最初からやりたかったモーションキャプチャーグローブを今やろう、ということになりました。2018年はすでにVRのマーケットが大きくなっていて、モーションキャプチャーの市場もかなり一般的になり、IMUやカメラ技術を使ったボディトラッキングの技術もあったんですけど、手を綺麗にトラッキングするのが難しかったんですね。そこで我々もビジネスの経験や、商品・製品開発の知見も積んできましたし、モーションキャプチャーグローブにビジネスチャンスがあるんじゃないかと思ったのです。
まずはゲームのモーションキャプチャースタジオや、映画スタジオなどプロフェッショナル向けのプレミアム市場の製品から開発し始めました。そのような経緯があり、満を持してコンシュマー向けモデルとして日本市場に投入するのが「StretchSense Studio Glove」です。
——StretchSenseは日本の市場をどのように捉えているのでしょうか。
ベン：
日本市場はですね、アニメやVRChat、VTuberのカルチャーを常にリードをしている国だと認識しています。特にVTuberのカルチャーは、常に新しいものが生み出され続けている市場だと意識しているので、ここに存在感を持ってチャレンジすることが我々にとってとても重要です。
そこで「StretchSense Studio Glove」は2段階に分けて展開しようと考えています。ファーストステップはVTuber向けとなり、手の動きを求めるVTuberに品質の高い体験が提供できると思っています。
セカンドステップはVRChatをはじめとしたSteamVRアプリ向けのアップデートの提供です。これは数ヶ月以内にローンチできるよう準備中です。
VRChatユーザーの人たちの中には、VRの中にいながらにして現実世界で楽器を弾いたりとか、新しいVRの世界を体験しつつ現実世界との共存を目指している方もいます。「StretchSense Studio Glove」が、楽器の音だけではなく演奏の様子もVR世界に伝えるためのデバイスとしてVRと現実との橋渡しになることを期待しています。
——繊細な指先の動きも捉える「StretchSense Studio Glove」の技術のお話を聞かせてください。
ベン：
伸び縮みするセンサーがグローブの手の甲側にたくさん仕込まれていて、手を動かすと伸びを感知して細かい動きを取っていきます。手の指を横に広げたり、曲げたり、伸ばしたりっていう自然な動きをこの伸び感知で取れるというのが特徴です。
このセンサーは湿気や汗、マグネット磁気などの影響を受けにくく、また衝撃に強いという特徴もあるので、いろんなパフォーマンスをしても安定して長時間動作を取得し続けることができます。
バッテリーの持続時間は公式スペック上は12時間となっていますが、これは最小時間です。使い方によりますけど、24時間持つこともあります。
細かいニュアンスがキャプチャできる、安定性がある、バッテリー持続時間が長い、そしてグローブのつけ心地が良く着脱しやすいし長時間つけていても疲れにくい。こういったメリットによって、 快適なモーションキャプチャーが実現できていると思っています。
——「StretchSense Studio Glove」を完成させるまでに、どのような課題を乗り越えてきたのでしょうか。
ベン：
モーションキャプチャーソフトウェアと連動させるための作業が大変でした。
プレミアムのモーションキャプチャーグローブを開発する時に費やした時間の3分の1はハードウェアそのものの開発時間、もう3分の1が指の動きのマシンラーニングに、最後の3分の1がキャプチャしたデータをモーションキャプチャーソフトウェアに合わせるための時間でした。
この最後の作業は本当に大変で、学ぶことが多かったんですけど、ユーザー目線で考えると、ただ指が動くだけのグローブを買っても仕方がないですよね。だからこそキャプチャデータを他社製のモーションキャプチャーソフトウェアでスムースに使えるよう、パイプラインに乗せられるように調整することに時間をかけました。
——今後、「StretchSense Studio Glove」をMeta QuestシリーズやHTC VIVE XR Elite、アップルのVision Proといったインサイドアウト方式のスタンドアローンXRヘッドセットと直接連携させる予定はありますか。
ベン：
どの機種でやるかは言えないのですが、対応予定はあります。我々は、機能を追加するときは1個1個着実に実現していくというポリシーを持っているので、まずは特定のスタンドアローンXRヘッドセットに対応させてから、順次対応機種を追加していきます。
「StretchSense Studio Glove」の公式サイトはこちら
(了)
