teratail Report vol.11

2018/05/16

Unityが描くXR×AIの今後

Unityが描くXR×AIの今後

こんにちは。teratail Report編集部です。

“teratail Report”は、エンジニア一人一人の中に隠れている「貴重な情報」を、日本中のエンジニアに届けていくメディアです。技術の最前線を走るエンジニアたちの「考え方・捉え方・経験や思想」には、オンライン上には出てこない「貴重な情報」がたくさん隠れています。teratail Reportは、実際にエンジニアに接し、その根幹を明らかにしていきます。

2018年2月20日、3D開発において世界で最も使われている総合開発環境であるUnityが、IBM Watsonと提携し、Unity Asset Store(Unityの開発向けパッケージストア)でIBM Watson Unity SDKを公開することを発表しました。これにより、IBM Watsonが提供する画像認識、音声認識、言語分類などのAI技術を簡単にUnity開発に取り込むことができるようになりました。

- IBM提携の公式発表 - Unity Blog -

XR(VR/AR/MR)の開発環境としても注目されるUnityに、AIがかけあわさることでどのような化学反応が起こるのでしょうか。Unity開発元のユニティ・テクノロジーズはこれからの技術進歩をどのように見ているのか、Watsonを提供するIBM社の佐々木志門氏とともに、teratailが突撃取材してきました!

常名 隆司じょうな たかし

ユニティ・テクノロジーズ・ジャパン合同会社
アセットストアマネージャー

2014年からアセットストア担当としてユニティ・テクノロジーズ・ジャパン入社。現在はゲームジャムやハッカソン、Meetupイベントなど開発を楽しむための場を提供するために24時間365日奔走している。

中村 剛なかむら たかし

ユニティ・テクノロジーズ・ジャパン合同会社
エンタープライズコンサルティング
ディベロッパーリレーションズエンジニア

PCゲーム、Webサイトのバックエンド/フロントエンド、iOSアプリ/ゲームと様々なジャンルで開発を行う。Unityが日本で使われ始めた初期の頃からブログ「強火で進め」にてUnityの記事を積極的に執筆。
ブログ「強火で進め」URL:http://d.hatena.ne.jp/nakamura001/

佐々木 シモンささき しもん

IBM Developer Advocate

元フロントエンドエンジニアでXR大好き人間。近年の専門はマネージドAI技術(IBM Watson Developer Cloud)を中心にハイエンドXR(VR/AR/MR)に関心が高い。IBM社内では量子コンピューター技術者コミュニティーに属しており、社外ではAIコミュニティー「水曜ワトソンカフェ」のモデレーターを務める。一方でサーバーレス実行環境Apache OpenWhiskやアセットIBM Watson Unity SDKやブロックチェーンHyperledgerなどオープンソース技術を推進。海外旅行が趣味で世界10ヶ国以上旅している。

  • Twitterアカウント
  • GitHubアカウント
  • Facebookアカウント

医療・製造・建築、そして高校の入学式にまで使われているXR技術

── 本日はよろしくお願い致します。まず、近年一気にトレンド入りしたXRですが、現在のXR技術はどのような状況になっているのでしょうか?

常名隆司氏(以下、常名)もともと技術としては古く、開発している人はいたんです。ただ一昨年の暮れ頃から話題に上がることが増えて、TVで取り上げられて芸能人が体験していたりと、一般の方が目にすることが増えましたね。

- ユニティ・テクノロジーズ・ジャパン合同会社 常名 隆司氏 -

常名そこから皆「あの黒いやつ(HMD:ヘッドマウントディスプレイ)を被るとすごいらしい」と話題になり、VRを体験できる商業施設もかなり増えて、一般の人たちが実際に触れやすい環境が整いました。同じような時期にポケモンGOも大流行して、子供でもなんとなくARという言葉を聞いたことがあるような状況になり、XRというジャンルが一気に広まった印象があります。

産業界でも、マイクロソフトさんのHoloLensが登場してから「そろそろ本格的に始めないとまずいんじゃないか」という姿勢の方が増えたように思います。JALさんのHoloLensコンテンツ開発や、角川さんのN高等学校入学式でのHoloLens導入のように、センセーショナルな事例も増えました。

中村剛氏(以下、中村)製造現場では、新人さんがかけたHoloLensの視点を元に、ベテランの職人さんがアドバイスをするような実践的な使われ方もされているようです。

- ユニティ・テクノロジーズ・ジャパン合同会社 中村 剛氏 -

中村医療の現場では、MRIの写真を3D化して事前にどのようにメスを入れたらいいか確認できるようなコンテンツを、大学の先生自らがUnityを習得し開発された事例もありましたね。

── えっ、先生自らが開発を?それはすごいですね!

- 医療現場にUnityを。脳動脈瘤の手術現場で使われるVRとは? - Made with Unity -

中村弊社がUnity事例を紹介している「Made with Unity」というサイトで記事になっているので、ぜひ見てみてください。同じ先生が作られた3Dの人体模型を見れるコンテンツは、 App Storeでもすごく評価が高いです。

常名製造業界だと、CADデータをUnityで立体化して、今まで平面だけだったものを回り込んでみたり上から見たりと事前に確認するような形で使われ始めていますね。

中村建築だと最近はさらにBIM(Building Information Modeling)というビル情報やフロア情報が一まとまりになったフォーマットもそのままUnityに読み込むことができるインポーターができたり、実際に建物を立てる場所にARで3Dモデルを出して完成風景を確認できるようになったりと、Unity界隈でも話題に上がっています。

── IBMさんでもXR開発関連は何かされていますか??

佐々木シモン氏(以下、佐々木)IBMではデバイスは開発していないものの、THINKRealityという技術コミュニティーというかギルド?があったり、XRコンテンツを開発するチームが立ち上がっています。今回のSDK公開もその一環ですが、これまでのPCやスマホのように、XRデバイスもUI/UXの表現の一つとして捉えて取り組んでいます。

- IBM 佐々木シモン氏 -

佐々木製造・建築業などはもとより、美容師スクールからの相談もあったくらい。ファッションなど一般の方に身近なところにも、浸透し始めているのかなと感じます。

常名ファッション業界にも結構前からVR空間上で試着できるコンテンツを作っている会社が精力的に活動していて、サウス・バイ・サウスウエスト(SWSX)にも出展されていましたね。

佐々木ARKit、ARCoreの登場でiPhone・iPadやAndroid端末がAR対応になりましたし、かざすだけで試着できるようになるかもしれないですね。

中村そうですね。鏡の前に立つと着ているように見える鏡もありますし、スマートフォンの性能も上がっているので実現できると思います。以前は特殊なアタッチメントなどが必要だったんですが、最近はもうデフォルトカメラだけで平面が解析できるくらいお手軽になっています。

AIが融合することで一層広がるXRの世界

── XR業界はかなり盛り上がっていることがよくわかりました。AI技術もまた別軸で盛り上がりを見せていると思うんですが、XRとAIが融合すると今後はどうなっていくんでしょうか?

佐々木プレイステーションVRで登場したスタートレックのアプリは4人同時に参加できるコンテンツで、IBM Watsonの技術がNPC(プレイヤーが操作しないキャラクター)として登場しています。これまでのVR体験はどちらかというと一人でやるイメージが強かったと思うんですが、VR空間上でコミュニケーションする方向に変わってきているのかなと感じます。

中村いま人気のVRChatでも、サポートキャラクターが必要になってくるかもしれませんね。NPCに聞いたらサポートしてくれたり、検索して結果を教えてくれたりとか。

常名VR空間上で説明書きを読むっていうのは興ざめしてしまうので、キャラクターに誘導してもらえた方がやはり自然ですよね。

佐々木XR空間上だと、これまでのようなキーボードやスマートフォンのような文字入力装置を使うのが難しいんですよね。そこでボイスコマンドが台頭してくるのかなと思います。これまで音声入力は少し恥ずかしいと感じていた人もVR空間上だと必要不可欠になるので、それがボイスコマンドのブレイクスルーになるのではと感じています。

常名音声がインタフェースになるというイメージですか?

佐々木そうですね。これまで右クリックしてメニューを開いて選んで、とやっていたことが、「あのメニューを開いて」とショートカットで入力できるようになると思います。

中村「あの服(アバター)に着替えさせて」とか、一発で命令できたら便利ですね。

── そこにAIを活用したサジェスト機能も入ってくると、すごく面白そうですね。「明るい気分の服」とか「おすすめのコーディネート」とか。

中村それ、すごくいいかもしれません。例えばバーチャル空間でオススメのコーディネートを試着できて、そのまま購入できるとか。

佐々木これまでもLINEやFacebookメッセンジャーのチャットBOTでできていた部分はあるんですけど、アウトプットがアバターになるとよりヒューマンな、人間らしいコミュニケーションが取れるようになると思います。AIの基本的なテクノロジーとして、音声のテキスト理解だけでなく、感情や声の起伏、発言そのものの喜怒哀楽などこれまで気にしていなかったことが活用できるようになるかもしれません。

常名僕がつい洋服を買いたくなってしまうような店員さんの対応や、中村が買いたくなってしまう店員さんの対応なども実現できるんでしょうか。

佐々木実現可能だと思います。IBM Watsonの機能の一つに性格分析APIがあって、対話のフローをデータとして蓄積することによって性格をスコアリングできるんです。そのスコアを利用して「次回はこういう対応にしよう」という風にできます。

中村買えば買うほど自分好みにサジェストしてくれるVRの店員さん……。中毒性が高くて、まずいですね(笑)自分の好みを覚えていてくれたり、この間の似合ってましたよなんて言われたら、どんどん買ってしまいそうです。

常名いま流行りのVTuberと連動したらもっと良いかもしれません。女の子だけでなく、イケメンが似合うよと言ってくれたり。

── すごく夢が広がります(笑)

佐々木でもXRとAIが交差する世界は夢ではなくて、実はそう遠くない未来にやってくると思っています。実現できる要素技術はもう既にあるんですよね。いまはまだXRとAIの流れが別軸で進んでいますけど、融合することで互いに一層発展していくと思います。

これまでのAIではチャットボット事例が多いんですが、どこか事務的な実装が多いんですよね。そこにXRという360度を演出できる世界が登場して、これはもうすごいことになるんじゃないかと感じています。

まだXRにはAI要素が自分に合わせてコミュニケーションしてくれる事例は少ないのですが、目の前にいる感覚や空間と合わさることで、素晴らしいことができると思います。そうなると僕がXRを一所懸命オススメしてきた甲斐もあったかなと(笑)

── いま挙がったような世界も、もう実現できそうなところに来ているということですね。

IBM Watson Unity SDKの登場で身近になったAIの実装

── 実装面で見るとIBM WatsonをUnityに取り込むことができるSDKが登場しましたが、実際に使ってみた感触はいかがでしょうか?

中村基本的にはIBM CloudのID・パスワードの認証情報だけで組み込めるので、すごく簡単でした。会話システムもIBM Cloud上で事前にテストできるのが嬉しいです。

佐々木手前味噌ですが、会話の事前テストができるのはすごくいいと思うんですよ(笑)以前はできなかったのですが、最近バージョンアップしてWatson Assistantというものになり、テストできるようになりました。

ライト・アカウント(無料アカウント)で試すことができますし、中学生でもできるくらい簡単で、その会話がそのままUnityや、LINEボット、Facebookメッセンジャーボットでそのまま出てくるというのはすごく画期的だと思います。

常名本当にその通りですね。テスト機能がすごくいいです。エンジニアではない人もどんなことができるかをすぐに目の前で体感できるのはすごくインパクトがありますよね。

中村使っていくうちに、多少ずれた言葉でも拾ってくれるようになりますよね。

佐々木初めはまっさらな状態なんですが、会話を重ねることで学習していきます。最近のアップデートであらかじめ一般常識やECショップ用の会話などをインポートできるようになり、これまでは「そこから設定しなきゃいけないの?」となってしまっていた部分も改善されました。

中村「昨日」とか「今年」といった言葉をきちんと日付に置き換えて認識してくれるのもいいですよね。そこが抜けていると、イレギュラーとして準備しないといけなくて大変ですから。日本語に対応しているのも嬉しいです。

「忠実なコンピュータ」から「背中を押すコンピュータ」へ

佐々木文章の中の喜怒哀楽を判定できるNatural Language UnderstandingDiscoveryという機能もセットで使うと、会話の中で喜怒哀楽をスコアリングして対応を変えることもできると思います。短文を投げるとJSONデータが返ってくるだけなんですが、そういう機能って今までなかったんじゃないかと思います。

常名「くそー!」というときに「落ち着いて」と声をかけてくれたり、リラックスできる音楽をかけてくれたりすると面白そうですね。車に搭載されているとついイライラしたときも良さそうです。

佐々木昔からコメディや漫画の中では、ロボットは人間の感情を理解できないという表現があるじゃないですか。ただ、これからは応答だけではなく喜怒哀楽のスコアリングを用いて、感情を汲み取ることができるものが実現できるなと思います。

常名これまでは「命令を忠実に実行するコンピュータ」が当たり前でしたけど、これからは「背中を押してくれるようなコンピュータ」が主流になってきそうですね。AIで一番難しいと言われているのはコンピュータに感情を持たせることなので、その礎となりそうです。

佐々木チャットボットやロボット、NPCを作る上ではキャラクターづけをすることがやはり肝みたいです。VTuberもキャラクター性を持っていて、どう接するかというのが変わりますよね。感情を汲み取るにあたっては年齢、性別、出身地といったカテゴライズはもうあまり意味がなくて、会話や書いた文章から抽出できる、個人に紐付いたPersonality Insightsの診断データが活用されていくようになると思います。

常名街コンや婚活で活用できそうです。相性の良さそうな人のマッチングはもちろん、オススメの話題や相手の真意を教えて欲しいです。そっけないけど実はこう思ってるのよ、という風に。

佐々木それは日常的に活用したいです(笑)

常名2、3年後にはWatson婚が出てくるかもしれないです。ワト婚。

佐々木ワト婚、すごい時代ですね(笑)これまでは大きな企業が研究開発で莫大な資金を投入しないとできなかったことが、個人レベルで開発に使えるようになったことで、ぐっとテクノロジーに手が届きやすくなったと思います。私たちの知らないところで、いろいろな場面での活用が進んで欲しいですね。

── 社会現象になりそうですね!これからの発展に期待がかかります!

佐々木例えばMixspace TechnologiesのLexiconというUnityアセットは、Watson Unity SDKを応用したもので、既にアセットストアにて公開・販売しています。またこうした開発に役に立つXR空間でUnityとWatsonを組み合わせた実用的なサンプルコードがGitHubに公開されていますので、HTC ViveやOculus Rift、Google Cardboardなどで、ぜひ開発に着手してみてください。ご自分のWatson APIキーをセットしてもらうだけで、ビルドできます。IBM Code も参考にしてみてください。それと中村さんのブログもUnityでのWatsonの使い方が丁寧に書いてあるのでオススメですよ。

- IBM Code -

── VR×AIの可能性は今後もっと広がっていきそうですね。とてもワクワクします。みなさま、ありがとうございました。