2020年末にPlayStation® 5と次世代Xboxが出るタイミングに合わせ、ゲーム業界の識者に各方面からこれまでの5年間を振り返り、そしてこの先の5年間の未来図を描いてもらうシリーズ。今回はゲームを進化させてきたVR（バーチャル・リアリティ／仮想現実）技術の発達を振り返りながら、VRやAR（拡張現実）などのXR（クロス・リアリティ）技術がもたらす未来像を俯瞰する。

アーティスト WONKによる90分の生演奏も含め完全リアルタイムグラフィックスで制作されたニューアルバム『EYES』のビジュアル。VRゲームコンテンツやVTuber産業によって培われたVRの世界が今、新しい次元を迎えようとしている（epistroph株式会社、株式会社Wright Flyer Live Entertainment 共同プレスリリース「Wright Flyer Live Entertainment、エクスペリメンタル・ソウルバンド「WONK」のバーチャルライブ制作に全面協力」より、2020/07/13）
https://reality.inc/news/000035/

「VR元年」の終焉からVR4.0へ向かった5年

2010年にアメリカ・カルフォルニア州ロングビーチのガレージでパルマー・ラッキーという17歳の少年が、最初のコンシューマHMD（ヘッド・マウント・ディスプレイ）のプロトタイプ「PR1」を完成させた。彼は、iPhoneの修理と転売で資金を稼ぎながら、当時、ほぼ実験的に存在していたVRディスプレイ機器HMDにおける、低コントラスト、高レイテンシ、狭視野角、高コスト、かさばりや重さといった問題を解決すべく、スマートフォン市場によって高性能・低価格化していた液晶ディスプレイ（LCD）と光学技術を利用し、日曜大工のキットとして仲間の愛好家に販売することを目的に「Oculus」シリーズをクラウドファンディングサイトKickstarterにおいてリリースした。その5年後、彼のリリースした「Oculus」シリーズは世界に認知され、2014年3月に30億ドルでFacebookに買収された。

本稿ではVRの歴史を、アイヴァン・サザランドによる「ダモクレスの剣 - The Ultimate Display」が提案された1965年頃をVR1.0と呼ぶことにする。この当時は企業研究所やアーティストにより、計算機と人間とのあいだにある研究が盛んに提案された時期である。「究極のディスプレイ」と銘打たれたこの装置は人間の頭部をディスプレイに括りつけて、コンピューターが生成した空間をリアルタイムで表示する機械的追跡システムの名前であり、必ずしも現在のHMDに似通っているわけではないが、既に「Sketchpad」（1963年）（註1）にコンピューターグラフィックスやコンピューター支援設計（CAD）、グラフィカル・ユーザー・インタフェース（GUI）の原点となるような提案を行っていたサザランドが、「CGでリアルタイム生成された世界に入りこむ」という概念は多くの研究者を刺激し、VRを「人間を拡張する技術」の研究分野として認知させた。

その後、1990年代、VR2.0として呼べる時代は、リアルタイムCGのためのハードウェアを中心とした時代であろう。シリコングラフィックス（SGI）社を皮切りに、グラフィックスワークステーション（GWS）による研究開発部門や映像制作専用機器での市場を切り拓くとともに、初期の産業用HMDやデータグローブ（註2）といった高価なインターフェースやディスプレイ装置が提案されては消えていった。その後、この市場はゲームやCF、VFX映画といったコンテンツ産業を刺激し、ソニー「PlayStation®」シリーズや、任天堂「NINTENDO64」以降、マイクロソフトによる「Xbox」シリーズといった3Dグラフィックスを主体とするコンシューマーゲーム機の登場や一般化、そしてその背景にあるOpenGLやDirectXといったミドルウェアの整備により、標準化されたグラフィックス・アプリケーションプログラミングインタフェース（API）や、NVIDIA、ATI Technologies、PowerVRといったチップメーカー（註3）が、しのぎを削りながら急成長する分野となった。VR2.0世代の研究開発はアーケードゲームやロケーション・エンターテインメント、メディアアートを中心に成長したが、その後の携帯電話、モバイル、SNSといった新しいメディアの爆発的普及のなかでは、リアルタイムCGはまだまだ高価な環境であり、コンテンツ開発と回収にかかるコストが高く、メインストリームにはなり得なかった。

VR3.0は2000年～2018年、狭義にはOculus Rift登場の2015年からOculus Go 2018年、一般向けHMDの普及とコンテンツプラットフォームの拡大期と定義づけられるだろう。急速かつ多様に拡⼤したゲーム開発産業のインフラとして成⻑したUnityやUnreal Engineなどのゲームエンジンと、冒頭で紹介したパルマー・ラッキーによる「Oculus」や「HTV Vive」といったコンシューマHMDの融合による「コンシューママーケットの構築」が意味するところが⼤きい。これまで「B to B」だったVRが一挙に「B to C」になった時期である。VR専門のWebメディアが勃興した時期でもあり、エンターテインメントで刺激されVR3.0の初期にVRへ参入したプレイヤーをはじめ、当初VRに懐疑的だった他産業分野からの参入者に向けて「今年はVR元年」と毎年のように書きたてた時期でもある。なお当時の日本バーチャルリアリティ学会会長・岩田洋夫（筑波大学）はCEDEC2016の基調講演「VRはどこから来て、どこへ行くか」において「VRの歴史は平成の歴史とほぼ同じ」と語っている。

「VTuber」キャラクターのリアルタイム3D表現と既存メディアの融合

実際のところ、VR3.0は2017年にバブルの崩壊を起こしている。加熱するハードウェア産業と投資熱、コンテンツのコモディティ化に対して、市場の成長が追い付いていかない現象である。VRエンタメは一見華やかではあるが、過去にも何度もこのような期待に対する成長のジレンマ、「VRの輪廻」とも呼べる現象に落ち込んで「冬眠の時代」を迎えてきた。その期間は多くの場合、SIGGRAPH（註4）やヒューマン・コンピューター・インタラクション（HCI）（註5）、また、国際学生VRコンテスト「IVRC」といった学術研究の場において、若い才能や在野の開発者のチャレンジによる研究文化の深化が見られる時期でもある。パルマー・ラッキーのような才能によるイノベーションも、まさにそのような歴史の新陳代謝ともいえるだろう。

またかつてモバイル産業において⽇本発でiモードやソーシャルゲームといった独⾃の産業が⽣まれてきたように、VR3.0の終焉からVR4.0（註6）の黎明において「⽇本ならでは」の現象が発⽣していた。その最も重要なキーワードが「VTuber」もしくは「アバター」と「発信⽂化」、「ライブエンタメ」であろう。特に、2016年12⽉に活動を開始したバーチャルタレント「キズナアイ」は限定的シンギュラリティ（人工知能が人間の脳を超える技術的特異点）を迎えた自称「スーパーAI」である。キズナアイはデビュー当初の自己紹介動画において自分自身を説明するために「バーチャルYouTuber」（以下、VTuberとして表記する）と名乗っており、この言葉は2018年のネット流行語大賞を獲得している。世界中の開発者がHMDを⼿に⼊れて「VRでゲームをつくりたい」と開発し、コモディティ化する市場で戦っているこの2017年から2018年のVR3.0終焉期に「シンギュラリティの裂け目」ともいうべきVR3.0からVR4.0への大変革が日本で起きている。バーチャルな現実の限界を超え、「バーチャルな存在（プレゼンス）」が主導するVRが産声を上げていた。

キズナアイをはじめ、2018年末時点の観測では約1万人といわれる規模に拡大したVTuberはどのようにして生まれたのであろうか。そしてこれは日本だけが特別な環境だったのであろうか？

技術的進化と歴史、産業、そして開発上の合理性など筆者自身の実際の目の前で起きていたことをここで綴っておきたいと思う。まずVTuberに代表される「バーチャルな存在」は、技術的にはHMDに使用されるモーションセンサーと、ゲームエンジンとそれに内蔵されている物理エンジンを用いてリアルタイム描画する3Dキャラクターを使ってパペットとして動かしてハイクオリティな映像をつくり、OBS（Open Broadcastar Software）などを用いてストリーミングに変換しYouTube等の動画配信サービスにおいて配信を行う。女性型キャラクターのスカートや髪の毛のような「揺れもの」は過去のリアルタイム3DCGでは非常に緻密に制作する必要があったが、ゲームエンジンとVR用ハイスペックPCにおいてはリアルタイム物理シミュレーションに任せて、ある種の「出たとこ勝負」で表現することになる。

このように「どこか自由で粗削りな魅力」を持ったVTuberたちの動画は、最初のうちはプロコンテンツとして認識されていなかったが、アンテナ感度の高い人々を中心に人気を得るようになった。最初は視聴者側に多くいた若く挑戦心のある開拓者たちは、ゲームエンジンを学び、より便利で高機能なシステムを開発し、資金のあるものは声優や3Dモデリングアーティストと協力し、より完成度高く幅広いVTuberをプロデュースしたり、またその未完成な技術の過程をコンテンツにしたりした。近年ではVRMのようなアバター共通フォーマットがその技術基盤を支えている。またモーションやセルルックのグラフィックスだけでなく、2017年ごろには音声合成やボイスチェンジャーを標準的に使うプレイヤーも現れた。男性が女性を演じる場合が多く「バーチャル美少女受肉おじさん」略して「バ美肉おじさん」といった文化として好奇の目とともに、一般に知られるようになった。筆者が開発するボイスチェンジャー「転声こえうらない」の利用者データによると、ボイスチェンジャーを利用するユーザーには女性も多い。3Dアバターによるバーチャルライブ配信アプリ「REALITY」も女性の配信者が非常に多い。

このような「アバターと配信文化」は日本独特、もしくは地域性のある市場なのであろうか。まず⽇本はアニメ、マンガ、ゲーム、ノベル市場が十分に大きく、それを受容する消費者文化が存在することは間違いない。「アイドルマスター」に代表されるゲーム由来の3Dモデリングで生成されたアイドルとガチャ課金を中心としたビジネスモデル、これらのキャラクターの声優によるファンコミュニティ醸成活動が商業的に大きな成功をおさめ、ゲームのなかでアイドルのプロデューサーとなって数万円規模の課金を躊躇せずに行えるプレイヤーたちが、VTuberをつくる側に立つことは偶然ではなく、また開発者ではなくホビイストであったとしても、VRChatのようなメタバースに自分のお気に入りの世界観をもったアバターを着ていくことは美的感覚から自然なことであるといえよう。かくして日本のアバター主導の技術開発やそれを強力に支える市場の成長は急速に進んだ。

しかし近年では中国でもこれら「Anime, Comic, Game, Novel」の頭文字をとってACGNと呼ばれる市場は大きなインパクトを持っている。関連の技術分野では2007年に誕生したボーカロイド「初音ミク」が（実在のアーティストと並んで）世界各国で知名度を上げ、地位を築き上げている歴史も忘れてはならない。中国ではボーカロイド「洛天依（ルォ・テンイ）」がキャラクターIP市場や音楽市場においても人気である。欧米市場ではフォトリアリスティックなルックをリアリティと考える文化が根強いためアジアとは異なるタイムラインであるが、MARVELやディズニーのキャラクターになりたい子どもたちはVRChat内にも多く存在するし、今後はNetflixやAmazonプライム・ビデオによる日本アニメ市場のグローバル化により、地域や人種ではなく単に嗜好されるコンテンツの属性として捉えたほうがよいかもしれない。

筆者は、アメリカ・ロサンゼルスで開催された「Anime Expo 2017」において、集英社「ジャンプVR」の呼びかけで「⽇本キャラVR祭」にVRライブエンターテインメント作品「Manga Generator」と「Real Baby」を展⽰した経験がある。 この時、日本代表チームとなった「Anime Expo 2017」出展の⾯々は、国内最⼤級のVTuberプロダクション「ホロライブ」を運営するCover株式会社や、『VRカノジョ』を発表し世界中で話題になっていたILLUSION社、後のVRノベル作品を代表する『東京クロノス』や新作『ALTDEUS: Beyond Chronos』を開発するMyDearest株式会社であった。常に逆⾵に⽴ち向かいながら⾃分たちのつくりたいものに対する信念を突きとおしつつ、資⾦調達や短い期間でのリリース、ファンとのコミュニケーションを綿密に⾏ってきた日本のVRを代表するスタートアップ企業の面々であり、「Anime Expo 2017」に訪れた現地アメリカ（およびメキシコ、カナダなど近隣各国）の⼀般アニメファンと直接接することで、その「日本のVRに期待する熱量」を目の当たりにし、肌で感じている。

「配信者文化」については、支える社会やインフラによって違いがある。中国では動画配信サイト「bilibili」を通して日本アニメとともにVTuberが人気コンテンツとして視聴されているが、中国における配信サービスは必ず当局による検閲及びコントロール下におかれており、日本のように「アバターを被って自由に発信できる」という理解はされるべきではないだろう。

機能や技術的な進化、歴史や市場環境に加えて「開発上の合理性」という視点で「これまでの5年、これからの5年」を説明することもできる。ゲーム、そしてVRエンターテインメントは多様であり、ステレオタイプ化することは避けたいが、日本の開発者や市場に期待されるVRゲーム、もしくは開発者自身がつくりたいVRゲームの多くはACGNを原作もしくはイマジネーションの源泉としていくことは今後も変わらないだろう。そしてそのようなキャラクター主導のVR体験・VRゲーム開発コストの多くが、3Dモデル、モーション、ボイス、インタラクションのためのAIなど「3Dキャラクターとの相互作用」であり、作品として注目されるのもまたキャラクターである。YouTuberが「好きなことで、生きていく」とプロモーションをしていたのが2014年である。その傍らで、日本の一部のVRエンターテインメント開発者たちは、HMDを装着してVRゲームを開発したり「VRならではのプレイ」を模索し、提案し、資金を得て、開発していた。VRゲームの開発は当初、旧来のアニメーション作品やゲーム作品内の挿入動画のように、シナリオをしっかりとつくりこみ、アーティストが丁寧にモーションアニメーションを製作し、有名な声優が声を演じ、ストレスなく品質高くでプレイできるよう、十分にテストされたプロコンテンツとして開発されていた。一方で、コンテンツを体験するユーザー側の非常に高いスペックのPCや知識が必要であり、OculusやSteamVRといったマーケットが成熟するまでは、大型ゲームセンターなどの「ロケーションVR」として試験的に展開する市場しか存在していなかった。

日本市場はACGNのリアリティ、つまり「仮想世界のキャラクターを現実に存在させること」については高い品質が求められる。また高速に消費されるコンテンツ市場において、つくりこまれたキャラクターのモーションやスクリプト、有名声優による演技から生み出す「予測できるコンテンツ」は、開発からリリース、回収までの期間がとても長い。VRゲームを長期間にわたって開発するのではなく、近いシステムを用いてアウトプットできないか。従来の動画製作とはまったく異なる製作工程で、3Dキャラクター主導の独特な世界設計、架空のキャラクターならではのコンテンツを高頻度かつ視聴者の予測を上回るシナリオで、配信向きの声と複合的な才能を持つプレイヤー「VTuber」たちと「ライブエンターテインメント」を開発していくほうが、社会の受容の変化に答えるエンターテインメントの開発が継続的に行える。これが「HMDの普及に乗せてVRコンテンツを開発していくVR3.0」との開発上の合理性という意味での違いでもある。

TwitterやYouTubeといった発信メディアの⽇々の活⽤によるファンとのコミュニケーション、さらにYouTube Liveやクラウドファンディングといったメディアを活⽤したライブエンタメを通した経済圏を市場とファンとともにつくり出していく。HMDが主体のメディアではなく「VRで会いたい人に会いに行く」、これこそがVR4.0を特徴づける要素であり、具体的な技術要素として、同時接続可能なネットワーク技術や、コマース基盤、AIやパワフルでポータブルなHMDであると説明できる。

これからの5年はネットワークVRライブエンターテインメントの成長期

これからのVRエンターテインメントの5年はVR4.1世代「ネットワークVRライブエンターテインメント」の世界に突入する。引き続き発信・配信やソーシャルメディアによるエンゲージメント獲得は重要な文化であるが、技術的には、ゲームエンジン、クラウド、WebRTC（註7）、第5世代移動通信システム（5G）で加速する分野といえる。さらに環境的には「With Covid-19」であることは無視できない。

この間に、バンダイナムコグループはVR施設「VR ZONE Project i Can」の実験展開を2016年に成功させ、2019年7月に池袋サンシャインシティに「アニメとゲームに入る場所」というコンセプトで「MAZARIA」をオープンした。バンダイナムコの保有するゲームを中心とする知的財産（IP）やキャラクター産業を融合させたVRロケーション・エンターテインメント施設であり、間違いなく世界最高のVRエンターテインメント体験を提供する施設であった（2020年8月31日で閉場）。

コロナウイルス感染症によってエンターテインメントパークや、ミュージアムといったメディア関連産業は大きな影響を受けている。生死に関わるシリアスな問題や経済の冷え込みなどが視界に入った状態で、夢の世界への没入環境を味わえる人はそこまで多くはない。直接的な感染症対策だけでなく、エンターテインメントの雰囲気を維持する上で、業界の状況は厳しい。エンターテインメント産業だけではない。学校教育や音楽、美術、パフォーミングアート、イベント、国際交流など、ありとあらゆる物理的な活動が分断されてしまっている。

筆者は運よくグリー株式会社およびグリーグループでライブエンターテインメント事業を推進するREALITY株式会社（2020年10月1日より株式会社Wright Flyer Live Entertainmentより社名変更）の研究開発部門GREE VR Studio Laboratoryにおいて、この数年間をVRライブエンタメの未来を開発する研究に没頭することができた。スマートフォン向けバーチャルライブ配信アプリ「REALITY」は、VTuberによる楽しい番組と、個⼈の3Dアバターによる配信交流が⾏えるサービスがある。

実際にはコロナウイルスの爆発的感染の前から、この先の未来についてのさまざまな予測や仮説検証は行われていた。例えば、ゲーム分野を中心とした革新という視点でも、さまざまな実験が行われた時期であった。

2019年の夏、大型の台風10号が直撃し各地で大雨によりイベントの中止などが相次いでいたときも、REALITYでは音楽ライブ「REALITY FESTIVAL3 OPENING SPECIAL KMNZ」を中心としたフェスを行い、野球ゲーム『実況パワフルプロ野球2018』を使った「VTuber甲子園」や、サンドボックスゲーム『マインクラフト』を使ったVTuberによる長時間クリエイティブコンテスト「建築王―チーム対抗マイクラコンテスト」といったライブエンタメ企画が次々と実施され、バーチャルギフトやコメント、Twitterなどで記録的な人気を博していた。東京ゲームショウ2018（TGS2018）では、ゲーム開発会社、株式会社ニトロプラスのキャラクターである「すーぱーそに子」が『フォートナイト』をライブで実況しつつファンと交流するなど、話題となった。

『フォートナイト』は世界のこの分野を語るうえで、最も見逃せないゲームタイトルのひとつである。集めた素材で壁や階段などをつくるクラフト要素のあるサードパーソン・シューティングゲームであり、100人同時にバトルロイヤルを行う。勝者はたった1人である。米国Epic Gamesが2017年7月にリリースし、無料プレイ可能。リリース当初「バトルロイヤル」はゲームの１モードでしかなかった。2018年2月に配信されたバトルロイヤルモードは、同時接続プレイヤーが開始当初340万人、同年11月に830万人に達する規模でプレイされている。「100人同時」はネットワーク技術的には非常に高度なクラウド技術であり、また大規模で表現力豊かなリアルタイムグラフィックスシステムは、同社の提供するゲームエンジンである「Unreal Engine 4 （UE4）」をこの数年で大幅強化（もしくは『フォートナイト』に最適化）していくことによって得られた。

2020年8月現在、アップルとの決済手数料率をめぐる争いの渦中にある本作であるが、メディア芸術分野の歴史において特筆すべきは、2019年2月に開催されたDJ・マシュメロとのコラボイベントである。ゲーム内の会場である「プレザントパーク」に1,000万人を超えるプレイヤーが同時に接続した。この動画はイベントと同時に配信、もしくは世界中の『フォートナイト』配信プレイヤーから配信され、公式動画だけでも5,300万回視聴されている。

Marshmello Holds First Ever Fortnite Concert Live at Pleasant Park

同様に2020年4月には人気ラッパー、トラヴィス・スコットがコロナ禍において、非常にアート性の高いライブイベントを開催した。この動画は公式動画だけでも8,100万回視聴されている。8月7日には日本市場において米津玄師によるイベントが開催されている。

Travis Scott and Fortnite Present: Astronomical (Full Event Video)

『フォートナイト』の巻き起こした経済衝突は前述の通り、Appleを巻き込み、そのゲームエンジンであるUE4を使った開発者やそのゲームソフトを巻き込み、Epic Gamesの現在の親会社が中国・テンセントであることも相まってか、影響は世界規模に発展している。旧来の「ゲームをつくるゲーム産業」のみでの視点では「無料のゲームでなぜ？」という気持ちになる読者も多いかもしれない。VR4.0的な視点では、異なる経済圏が存在しており、そこではゲームの勝敗よりもゲーム内のプレイヤー（アバター）の装飾のほうが重要な要素を持つのである。『フォートナイト』は基本無料だが、スキン（プレイヤーキャラクターの外見変更アイテム）や追加パックの販売で収益を得ており、2018年4月の月間売上は2億9,600万ドル（約325億円）に達し、欧米では早い段階で「社会現象」となっている。課金アイテムである「Vinderbucks（V-Bucks）」は、従来のゲームと同様、ゲーム内でのステータス強化に役立つが、コスチュームアイテムやダンスなどの感情表現を行うエモートなどはゲームプレイの強化には一切役立たない。つまり、見た目の雰囲気や、前述のようなフェスやライブイベントに「着ていく服」「踊れる踊り」としてプレイヤーのLTV（Life Time Value；長期で利用するユーザーにとっての価値）を確実に引き上げていくことが産業になっている。

また他産業の表現者であるアーティストのライブを実現するには非常に高い技術が要求される。UE4という同じエンジンを使ったとしても、前述のトラヴィス・スコットのライブと同様のリアルタイムエフェクト表現を実装する技術、特にシェーダー技術（註8）は、アーティスト的素養とエンジニアリング、特にCG分野の数学や物理の知識に加えてGPUをフルに活用した実装力が必要である。

このような背景もあり、REALITY株式会社は2020年7⽉13⽇に「バーチャルライブ制作プラットフォーム REALITY Live Stage」を提供開始した。スマホアプリからクラウド、UE4やUnityでのリアルタイムキャラクターやエフェクト、ライブ⾳響やモーションキャプチャーといったバーチャルライブのための垂直技術をパッケージ化する挑戦だ。第1弾として2020年8月22日に世界的に注目されるエクスペリメンタル・ソウルバンド「WONK」のフルCGバーチャルライブ「EYES SPECIAL 3DCG LIVE」を開催した。音楽アーティスト WONKによるニューアルバム「EYES」のSF世界をアーティストとともに50人近いスタッフで3カ月の開発期間をかけて完全再現し、90分の生演奏とアーティスト本人によるライブモーションキャプチャーによって完全リアルタイムグラフィックスで制作、ファンに向けて有料で生配信された。VRゲームコンテンツやVTuber産業によって培われたVRの世界が今、新しい次元を迎えようとしている。この内容はSIGGRAPH 2020において発表され、世界各国からの大きな反響を得た。

WONK - "EYES" Special 3DCG Live Teaser

今後求められる技術／体験／挑戦
熱狂共有技術とビジネスインフラ整備

前述のとおり、VRエンタメとひとことで表現しても、VR1.0からVR4.0に至っては意味や次元の異なる成長や新陳代謝が進んでおり、その成長速度も日進月歩ならぬ秒進分歩である。2018～2020年初頭まではゲームエンジンを利用し、リアルタイムグラフィックス生成ではあるが、事前に収録したモーションや音源を利用したVTuberによるイベントを「バーチャルライブ」と呼ぶことや、MPEG動画化した映像をつなぎこむといった手法がとられているライブイベントも散見された。また「実写かCGか」、「2Dか3Dか」という画風の次元は必ずしも重要ではない場合も多く認識されている。一方で、技術的イノベーションが起きづらい実写360度映像によるライブと異なり、VTuber分野においてはHMDを利用した没入型ライブ体験や、ライブ番組における生歌、生のダンスといった試みも企業・個人を問わず多数行われている。またそれを支えるファンの目も大変に肥えている。つまりコロナ禍に対する社会・経済環境の急速な変化に加えて「これは収録なんじゃないかな……？」という前提で見る「視聴者たちのさらに上を行く体験」を常につくり出していく挑戦が必要であるともいえる。いくつか例を挙げて解説したい。

例えば、ドコモ5Gチームが推進するVTuber「直感アルゴリズム」による2020年3月21日に実施されたライブ。このイベントはコロナ禍による影響拡大の渦中にあり、残念ながら会場であった東京・ベルサール汐留の会場は無観客ライブとなった。しかしながら日本と中国の人気VTuber 6人の同時出演や、その他世界中のVTuber自身による応援コメント、実会場での演出やVR視聴による360度映像、YouTubeコメントによるインタラクション技術など、リアルタイムライブとして見どころが多いイベントとなった。

以心伝心有灵犀-Borderless Live 5G-【360°Ver】

次の例は、ゲームの歴史に残る名作のVR版『スペースチャンネル5』の新作にあわせた REALITY 公式番組。視聴者参加型のダンスコンテストの開催や、人気VTuberによる投稿動画、さらにライブで出演者が踊るといったサプライズも含めて構成していく。

スペチャンREALITY　ダンス イン ザ ギャラクシー！踊ってみた選手権！　4月1日放送　#銀河アリス #奏天まひろ #音葉なほ #インサイドちゃん Mark2

ゲームとVRの融合という視点では、アバターライブ用配信ツール「Virtual Cast」を使ったゲーム開発も行われている。この番組ではVTuberである九条林檎が企画した「透明人間になれる鬼ごっこ」がVirtual Cast内で実装されている。

#九条林檎の挑戦状 Ⅱ 6月26日放送　#九条林檎 #馬犬 #ANON vs #インサイドちゃん Mark2 #もちひよこ #東雲めぐ

筆者はこのゲームシステムおよび番組の開発に参加したが、コロナウイルスの渦中の3月から6月において、従来型のスタジオや開発環境、HMD装着といった物理接触要素を完全に排した環境で問題なく開発を推進することができた。製作手法も大きく変わっていくが、柔軟に変革していく技術が重要であるともいえる。

なお前述の「直感アルゴリズム」は、2019年11月に開催された「SIGGRAPH Asia 2019」において、7,154km離れた東京とブリスベンをつないだ国際コラボレーションライブを行った。拍手や歓声を可視化することで、言語や文化を超えた交流を実現し、距離を超えたゲームや、難度の高い生の歌やダンスなどを現地にいる3,000人のCG・インタラクション技術の専門家を前に大喝采を受けた。

SA19RTL - Global Bidirectional Remote Haptic Live Entertainment by Virtual Beings (full mix ver.)

このような物理的な国際会議のような場も、コロナウイルスの影響で急速に変化している。2020年3月22日から26日にアメリカのアトランタで開催された世界最大の学術VR会議「IEEE VR 2020」においては、Zoom会議のほかに、Mozillaが開発するネットワークWeb3D「Hubs」による3D空間でのポスター発表が採用され1,500人の参加者によって利用された（発表の様子）。

2020年4月22日から24日に開催された欧州最大のVRコンベンション「Laval Virtual 2020」においてはアバターチャットシステム「Laval Virtual World」が開発され、11,200人の参加者が参加した（発表の様子）。

そして、「ライブである証拠」をエンゲージメントにつなげる、という試みとして、筆者のラボにおいては「VibeShare」という技術で開発や公開実験を含めた発信を行っている。

VibeShare - 観客の想いを出演者に伝えるライブエンタメ技術

LiveHapTD - 観客と協力して戦うライブゲーム (empowered by VibeShare)

SIGGRAPH Asia 2019での経験をさらに深め、視聴者やライブ参加者の感情、具体的には歓声や拍手、サイリウムの振りやエモート表現などの「Vibes（雰囲気）」を、クラウド技術を使って出演者に触覚として体感できる多様な物理フィードバックにして共有している。視覚に頼らず、位置や方向、触った雰囲気や衝突などを表現できるため、ゲームシステムや音楽ライブ、出演者のサポートシステムや教育応用など多様な利用可能性がある。

以上のように、「With Covid-19」な世界においても、VRライブエンタメ分野においては「バーチャルだからこそできる工夫」が多くあり、危機に面している既存の産業からの要請や、新しく生まれようとしている産業、そして表現者の舞台や活躍場所も多く生まれつつある。多くは個人のITスキルや知識によって工夫で解決できているように見えるシンプルなものも多い。そして実験環境では見えてこなかった課題も多く明らかになる。

今後5年で求められる技術、体験、挑戦とは、まさに既存のイベントや美術・芸術、教育、研究といった、エンターテインメントとは捉えられていなかった分野における、最高峰のIT技術が求められる「熱狂共有技術とビジネスインフラ整備」だ。その範囲は、ゲーム・アニメ・マンガといった既存のメディア芸術分野、そしてミュージアムから、ライブエンタメ、学校教育やワークショップといった知的探求活動や取り組み等にまで広がっている。

ただしメディア芸術やエンターテインメントの延長といっても、中途半端な品質では太刀打ちができない産業課題も多い。組織的な取り組み、社を横断した挑戦、ユーザーを巻き込んだ実証実験の繰り返し、メディア芸術産業としての飽くなきチャレンジが、この挑戦の最大の力となる。願わくは、持続的な成長のための適切なインフラ整備に向けた公的投資や法整備も進めばありがたいが、それ以上に、本分野の挑戦が一般に知られることを願って筆を執らせていただいた。

最後に、新型コロナウイルスの世界的感染拡大において、命を落とされた方、そしてイベントなどの事業中止によって、発表や表現の機会を失った方々に祈りを捧げつつ、筆を置きたいと思う。

（脚注）
*1
「Sketchpad」はIvan Sutherlandが1963年に博士号論文の過程で書いたコンピュータープログラムで、1988年にチューリング賞を受賞し、2012年に京都賞を受賞した。1963年当時、ほとんどのコンピューターは、パンチカードまたは磁気テープリールを使用して、手続き的な手順を計算する計算機であった。SketchPadはその当時発明されたライトペンを使い、画面に表示された図形をタッチして入力することを可能にした。つまり、人間とコンピューターが相互作用を行う先駆けであり、現在のGUI（グラフィカル・ユーザー・インターフェース）やCAD（コンピューター支援設計）の基盤となるデモシステムを提案し、コンピューターと人間とのあいだにあるインタラクションの新しい方法を示すことに加えて、コンピューターグラフィックスを芸術および技術な目的の両方に使用できることを示したといえる。

*2
「データーグローブ」（data glove）とは、コンピューターと人間とのインターフェース用装置の1つであり、人間の手の単純な動作から情報入力を直感的に行なえるセンシング装置として考案された高価な手袋である。1989年に任天堂公式ライセンス製品として発売された「パワーグローブ」が最も有名であり、現在も光ファイバーや新素材を使った研究が続けられている分野である。
資料映像1：SIGGRAPH 2018にて展示されていた過去のHMDとパワーグローブ
https://www.youtube.com/watch?v=ghxe2jfbbVg
資料映像2：筆者が過去に開発に関わったVTuber向けデーターグローブ
https://www.youtube.com/watch?v=stXq04_JPRU

*3
グラフィックス専用プロセッサーを一般的にGPUと呼ぶようになったのは2000年以降である。

*4
「SIGGRAPH」（シーグラフ）はSpecial Interest Group on Computer Graphicsの略で、世界で最も長い歴史を持つコンピューターグラフィックスとインタラクティブ技術の国際会議。もともとはアメリカ合衆国に本部のある計算機科学の国際学会ACMの「CGに関連する興味がある人々のためのグループ」である。西海岸の映画産業をベースにした表現力豊かな雰囲気がある国際会議であり、学術的な発表だけでなくハリウッドの映画産業や、その上映作品のメイキング、新しい技術のデモンストレーションが幅広い層に対して行われる。会議構成はCGやインタラクティブ技術の研究論文発表、コースやチュートリアル、技術デモンストレーションや作品体験展示など。CG・VRの黎明期である1974年から毎年開催されていることもあり、年次大会には数万人規模の参加者が参加する。常に世界最新・最高の体験が集まる交流場所であり、作品や技術だけでなく人的交流としても重要な会議である。
参考：「SIGGRAPHってなんですか？」（筆者・MoguraVRでの連載より）
https://www.moguravr.com/shiraihakase-6/

*5
ヒューマン・コンピューター・インタラクション（HCI）とは、計算機技術の設計や利用方法について研究分野であり、特に人間（ユーザー）と計算機とのインターフェースについて着目する研究分野のひとつである。人間中心のコンピューティング（Human-centered computing : HCC）なども近い分野であり、米国ACMにはConference on Human Factors in Computing Systems（CHI）がもっとも大きな会議として存在している。年次大会であるCHIは1982年から毎年開催され、世界各国から数千人規模の参加者が参加している。

*6
本稿でも触れたように、VRの歴史は過去に何度も急激な流行と冬眠とも呼べるような休眠期を繰り返している。2013年～2017年ごろのVRブームはOculusによって爆発的に普及したコンシューマ向けHMDと、UnityやUnreal Engineなどのゲームエンジンの普及による開発環境の一般化と、それを背景とした従来のゲーム開発者が新技術や新しい挑戦としてのVR作品の開発に乗り出した時期であり「VR3.0」と呼ぶことができる。これらのエンターテインメント分野のVRは、過去の研究開発や産業用VRとは切り離された存在として扱われている面があったが、VR3.0では技術的にもエンターテインメントが中心で拡大した点が特徴的であるが、ハードウェア産業とそれに付随する投資熱、市場の成長速度スピードが噛み合わず、2017年のPlayStation®VR以降は停滞期に入ったと表現できる。VR4.0は2018年以降に明確に表れてきたVR3.0とは異なるVRに対する意味合いであり、VR3.0との差異は「人間中心、ネットワーク、コマース」が特徴づけられる。一般化したVR機器、具体的には高性能なGPUを搭載し標準化されたVR Ready PCの普及、HTC ViveのVIVE Tracker のような人間動作をリアルタイムで取得するハードウェアやソフトウェア環境が比較的安価に揃えられるようになった背景と、VRChatやVTuberのようなゲームやアニメーションの世界をそのまま表現する3Dアバターが従来の3Dアバターシステムだけでなく、YouTubeやTwitterなどのSNSメディアによってプレゼンスを見せ、実際の経済を動かす存在になった点が挙げられる。つまりVR4.0はこれまでのHMDのようなハードウェアによるリアルタイム3Dグラフィックスの体験から、その存在（プレゼンス）を主体とする体験に明確に移行しているため、時代や意味合いを分けて考える必要がある。
参考：VR4.0に関する論文
〈初出～公開順〉
「リレーコラム：VR3.0→4.0の間に咲いたVTuberという新人類の研究」
『情報処理学会学会誌』60巻、第3号、2019年、286-286ページ
https://ipsj.ixsq.nii.ac.jp/ej/index.php?active_action=repository_view_main_item_detail&page_id=13&block_id=8&item_id=194346&item_no=1

「20191128　近未来教育フォーラム2019公開版 “In Real Time” リアルタイムグラフィックスの世界とVTuberが牽引する新たな人類」
https://www.slideshare.net/vrstudiolab/20191128-2019pptx

「VR4.0 -リアルタイムバーチャルキャラクターが牽引する VR産業における基盤研究」
メディアサイエンス研究所
https://msl.dhw.ac.jp/journal/194/

「【ショートレポート】VR4.0 -リアルタイムバーチャルキャラクターが牽引する VR産業における基盤研究」
『DHU JOURNAL』Vol.06、2019年、82-92ページ
https://msl.dhw.ac.jp/wp-content/uploads/2020/04/DHUJOURNAL2019_P82.pdf

L. Bredikhina, T. Kameoka, S. Shimbo and A. Shirai, ?Avatar Driven VR Society Trends in Japan,” 2020 IEEE Conference on Virtual Reality and 3D User Interfaces Abstracts and Workshops (VRW), Atlanta, GA, USA, 2020, pp. 497-503.
doi: 10.1109/VRW50115.2020.00103.
IEEEVR2020：https://ieeexplore.ieee.org/document/9090603
動画：https://www.youtube.com/watch?v=ET-_R2Hly88

“Research and Development for Avatar-Driven Virtual Society in VR4.0 Era,” June 27, 2020.
https://www.geschkult.fu-berlin.de/en/e/emtech/news/conference-2020-schedule.html
https://www.youtube.com/watch?v=hVR82Rb7eqM

*7
「WebRTC」（Web Real-Time Communications：ウェブリアルタイムコミュニケーション）は、ウェブアプリケーションやウェブサイトにて、仲介を必要とせずにブラウザー間で直接、任意のデータの交換や、キャプチャしたオーディオ／ビデオストリームの送受信を可能にする技術。標準規格化されており、ユーザーがプラグインやサードパーティ製ソフトウェアをインストールすることなく、データ共有や遠隔会議を実現することを可能にしている。
https://developer.mozilla.org/ja/docs/Web/API/WebRTC_API

*8
CGにおいて陰影をつける演算処理をshaderと呼ぶ。もともとは光と影を計算する処理のためshaderと呼ばれていたが、近年はGPU上において、形状を変化させるジオメトリシェーダーや、2次元的なぼかしや色の調整などを行うピクセルシェーダーなど、リアルタイムで処理をする工程や実装方法を含めてshaderと呼ばれることが多い。

※URLは2020年8月10日にリンクを確認済み