一度のスキャンで関節などの情報も読み取ることができる

−−今回のハッカソンでは「ANATOMe(tm)（アナトミー）」という技術をご提供いただきます。どのような技術なのでしょうか。

横田達也(ワン・トゥー・テン・イマジン インスタレーションデベロッパー)：関節や筋肉に相当する情報も読み取ることができる3Dスキャンおよびモーションデータを適用する総合システムです。頭や首、胸、両肩の骨などの間接の情報を約27ヶ所スキャンし、コンテンツに取り込むことで回転させたり、動かしたりすることができるというものです。 約2年前から開発を始め、バージョン1を経て、現在は高解像度版のバージョン2へと進化しています。

−−他の3Dスキャンとの違いはなんでしょうか？

横田：今までは固定したポーズをスキャンすることしかできませんでしたので、動かすためにはスキャンしたデータに関節の情報を追加する必要がありました。ですが、このシステムでは一度のスキャンで関節などの情報も読み取ることができるので、約4分という短い時間でデータを抽出することが可能です。

−−本来であれば、どのくらい時間がかかるものなのでしょうか？

横田：そうですね…。手動で人力で追加するのですが、人にもよりますが2～3時間くらいかかると思います。

−−具体的には、どのようにスキャンするのでしょうか。

横田：Aポーズと呼んでいる少し腕を広げて立つ特定のポーズをしてもらい、撮影をします。そのデータから骨の情報を自動的に推測し、数分後に3Dモデリングデータを出力させることができます。

−−このシステムの開発には、どれくらいの時間がかかりましたか。

横田：はじめは3ヶ月で作り上げる予定だったのですが、難航し結果的には1年半ほどかかりました。

澤邊芳明(ワン・トゥー・テン・ホールディングス代表取締役社長)：当初は4台のカメラを使っていたんですが、360度スキャンするにはカメラからの死角が多く台数が足りないことが判明し、開発終盤になってから急遽10台に増やしました。その結果、そこから先の苦労は倍以上に増えましたけどね（笑）。複数の3Dカメラはそれぞれが自分自身を原点とした3D空間を持っています。それら別々の3D空間を1つの共通の箇所を原点とした3D空間に統一してあげることをキャリブレーションと呼ぶのですが、それぞれの空間のズレを統一し、共通の3Ｄ空間であることを認識させることに苦労しました。

このバージョン1を経て、VRC,Inc.のスキャンシステムと連携し、その後、カメラ及びコンピュータの台数を減らしたバージョン2に今は進化しています。 バージョン1では一瞬で撮影できるという利点があったのですがその分カメラの台数が増えるなどシステム的な課題が多くありました。そのためバージョン2ではカメラを人体の周りに動的に回転させることによってスキャンしています。撮影自体は数秒かかる様になってしまいましたが、精度は大幅に向上しています。 参加者の皆様にはバージョン1とバージョン2の双方を体験してもらう予定です。

−−今回ハッカソンに参加すると、どのようにそのシステムを使うことができるのでしょうか。

澤邊：3メートル×3メートルの空間が必要なので、カメラをお貸しするのではなく、当社にお越しいただいて出力データをお渡ししたいと思います。

−-動物もスキャンすることはできるのですか。

横田：今は、人間のみですね。人らしい形をしているものであればスキャンすることが可能です。

−−このデータを使った作品というのは、今までにどのようなものがありましたか。

澤邊：今年の5月に開催された【A 5th of BitSummit】では、「ANATOMe」を使って、自分が格闘ゲームのキャラクターになれる「ファイティングアナトミー」というゲームを出展しました。

横田：対決する2名をスキャンし、コントローラーを使って自分自身を操作することができるというゲームです。加えて、QRコードも自動で発行されるのでスマホで読み取る事でブラウザ上に表示されますので、そのまま持ち帰ってもらえるようなサービスにもなっていました。

澤邊：このシステムは、手軽に短い時間で3Dスキャンデータを生成できるのが特徴なので、イベントでの使用に適していると思います。今後は、プリクラのように東京ドームやゲームセンターに常設していきたいとも思っています。

手間が増えると脳が認識した段階で、人はそれを選択しない

−−今回のテーマは「エンタテインメント体験の拡張」ですが、テクノロジーとエンタテインメントの相性について、どのように考えておられますか。

澤邊：2012年頃からプロジェクションマッピングがスタートし、プロジェクターの金額も安価になってきたことによって、大きな対象物に映像を映し出すことが流行しました。その後、ここ1年くらいで観客側のニーズがよりインタラクティブなものに移り変わり、ただ映像を投影するだけではなくアーティストの息遣いや動きをもっとリアルに演出に反映させたいというニーズが非常に増えてきました。その結果、いかに出演者のデータを細分化できるか、どこまで要素分解できるのかが重要となってきました。それらの要素を切り出すことができると、音や動きを加工するなど、デジタル技術を使ってそれらの要素を自由に扱うことができ、3Dデジタル空間に再構築できるようになります。演出自体も、カメラと連携することで自由に視点を変えてみたり。人というのは、同じフォーマットのものを見続けると飽きてしまいますよね。なので、映画も最近では五感で感じる体験に変わってきています。VRの進化も同じだと思います。なので、現実とステージ上の世界をどこまで近づけることができるのかというのが、今求められていると思います。

−−たしかに、昨年のハッカソンでも「ライブ体験の拡張」をテーマに、VR体験ができるシステムや、客席と観客の新たなコミュニケーションツールなど、インタラクティブな作品が数多く発表されました。ハッカソン自体の課題については、どう考えておられますか。

澤邊：私は、今までハッカソンやアイディアソンに審査員として参加したこともありますが、いつも審査基準にしているのは「不自然さと手続きの煩雑さがないか」です。人は定型化された行動をそう簡単には変更しません。もともとのライブ体験などを壊さない範囲で、どう拡張できるかがすごく重要と考えています。例えば、一時期テレビとスマートフォンの連携が話題になりましたが、実際にテレビを見ている時にはわざわざスマートフォンを触らないですよね。面倒くさいですから（笑）。テレビのデータ放送が定着しない理由にも、同じことが言えると思います。

−−たしかに、そうですね。

澤邊：そしてVRが今後定着するかどうかについても、同じ課題があると思います。私達もVRゴーグルを使った開発は積極的に行っていますが、日頃の生活に取り入れるにはやはり面倒くさいですよね。行動心理学で証明されていますが、手間が増えると脳が認識した段階で、人はそれを選択しません。スマートフォンのゲームがここまで定着したのは、手軽でインスタントなサービスだからです。それぞれのサービスが持つ特性を無視して、なんでもインタラクティブにするのではなく本質的な魅力をどう拡張するかを考えること、そして ユーザー側の手間を増やさないことが重要だと思います。

−−今回のハッカソンに期待することはなんでしょうか。

澤邊：今のエンジニアに必要なことは、自分の研究開発を自己満足で終わらせないことです。今までは、良い製品を作れば黙っていても売れる時代でした。でも、今は面白いアイディアさえ出せば、誰かが買ってくれるというような時代ではありません。どうビジネス化していくか、エコシステムを構築できるかを考えることが重要です。私は海外でもセミナーをしたことがありますが、参加者が質問してくるのは「どうやって作るのか」ではなく「どうやってマネタイズするのか」です。そして日本人に欠けているのは、そこだと思っています。日本人は基礎研究が得意ですし、アイディア自体が他の国より劣っているとは思いません。ただ、それらのアイディアを大人が支援してあげるということが大きく欠けています。企業側としては、なるべくリスクはとりたくないという思いがどうしても勝ってしまいますが、どんなメジャーリーガーだって100発100中でホームランを打てる人はいませんよね。なので、ハッカソンでは参加する方たちのアイディアを浪費させないように、企業側が支援しチャンスを作っていくことが重要だと思います。そういうことも、今回のハッカソンを通じて伝えていきたいですね。なので、面白いアイディアがあれば、是非一緒にビジネス化したいと思っています。