2022年5月、東京・日本橋に3種類のコンテンツが設置された。SNSとリンクした巨大な広告塔に、クイズに連動して構築と再構築を繰り返すオブジェ、そして再生速度が調整可能な能楽師や道ゆくサラリーマンたち。言葉にしてみるとその脈絡のなさが際立つが、バリエーションに富むそれらに共通するのは、すべてがAR（拡張現実）だということだ。それぞれに作家は異なるが、全体の開発・実装を手掛けたのは、ARを手法として活動する3人組開発ユニットAR三兄弟。今回の企画について、また近年の活動について、三兄弟の長男として活動する川田十夢氏と、三井不動産企画担当者へのインタビューを交えてレポートする。

AR三兄弟の川田十夢氏。アプリ「社会実験」内の「能ミュージック、能ライフ。」から撮影

日本橋の街並みをARで拡張する

日本橋の街並みにARコンテンツが同時多発的に出現した今回の企画は、三井不動産の創立80周年記念事業「未来特区プロジェクト」のひとつ、「クリエイター特区」プロジェクトにて展開された、デジタル技術を用いた作品や展示の一企画として実施された。リアルとデジタル（あるいはバーチャル、オンライン）双方の場を用いた展示企画などもあったなかで、デジタルオンリアルな表現として、ARを用いることとなった。「クリエイター特区」プロジェクトに共通するコンセプトは「UN/BUILT（未建築）」。「ARは未建築的思想に基づくテクノロジーであり、街や場にARを用いて作品を展示することは、デベロッパーとしてできる次なるアート・文化と人との接続につながると考えた」と三井不動産で「クリエイター特区」を担当する粟谷尚生氏は語る。

公募はアイデア勝負、AR三兄弟が夢を現実に

本企画の特徴として、一般にAR作品のアイデアを募り、その実装をAR三兄弟が担ったことが挙げられる。実は、企画検討段階ではハッカソン開催の案もあった。しかし、AR三兄弟が過去に携わったハッカソンでは、アイデアは優れていてもスキルが伴わず実装に至らないケースも多かったという。ただでさえ複合的なスキルが求められるAR作品。参加者のスキルの有無を問うよりも、アイデアに注力してもらうほうが、よりおもしろいものができるのではないか。そんな考えから、アイデアのみで応募可能、採択案はその開発・実装をAR三兄弟が担うという役割分担を前提とした公募を開催することとなった。冒頭で述べた3つのコンテンツのうち、前述の2つが、約500という応募数のなかから採択された作品だ。役割分担ありきとはいえ、蓋を開けてみれば3Dモデリングまでは応募者側でできているものもあるなど、実際の分担は個々の作品で異なったという。

会期中、AR作品はすべて、AR三兄弟によるアプリ「社会実験」上で体験が可能となった。採択作品はどちらも福徳の森の広場を舞台とし、ARを起動するマーカーに床面の市松模様を利用した。臼倉拓真氏による「Nihonbashi Ad Parade」は、SNSと連動した巨大な広告塔だ。起動すると、神社の鳥居を思わせる朱色をしたすり鉢状の塔が現れる。提灯など日本的なモチーフも見える。塔を取り巻きぐるぐると回り続ける電光掲示板やモニターに映し出される情報はSNSとリアルタイムに連動し、指定のハッシュタグとともに呟かれた内容が反映される。日本橋の魅力を伝える、「Ad Parade（=あっぱれ！）」な新しいランドマークとなるよう構想されたという本作。体験者からは、未来の街を歩いている感覚を覚えたという声や、ほかの場にも展開してほしいという声が寄せられた。

ARアプリ「社会実験」をiPhoneにダウンロードし、体験スタート。2022年8月現在、受賞作品は非公開
「Nihonbashi Ad Parade」イメージ画像。画像右の赤い構造物が実際に広場に出現した
「未来特区プロジェクト」ウェブサイトより
広場地面の市松模様をカメラが捉えると、その上に作品が現れる
作品に近づく筆者をもうひとつのカメラで捉えた。実際にそこに作品が出現し、それを共有しているかのように見えるが、実は筆者が自分のスマートフォン越しに見ている作品と、ここに写っている作品とはイコールではない。ARを体験している写真を撮るのはなかなか難しい

飯島泰昭氏・本山貴大氏による「dpN dots per Nihonbashi」は日本橋にまつわる事物を知ることができるクイズ形式の作品。広場の市松模様がボクセル（註1）として浮き出し、さまざまなオブジェクトを構成、オブジェクトにまつわるクイズを出題する。江戸時代から各地の人や物が行き交い文化や産業の生まれる街として発展してきた日本橋。ボクセルが寄せ集まりひとつのものを構築するさまには、この街を彩ってきた、そんな事物の交流が表されているという。クイズに正解するとオブジェクトは崩壊し、また別の形に再構成され次のクイズが出題される。その場で参加可能な、親しみやすさのあるアトラクション作品だ。せっかく積み上がった巨大なオブジェがいとも簡単に崩壊する様子には驚くが、それもまた、ARならでは、アンビルドならではの表現であり体験だ。

「dpN dots per Nihonbashi」イメージ画像
「未来特区プロジェクト」ウェブサイトより
市松模様をマーカーに、ボクセルが出現し、日本橋にまつわるさまざまなオブジェを構築、それが示す答えを3択で答える
正解すると画面に丸が。オブジェに向かってボクセルが投げられ、オブジェは崩壊、次のオブジェがまた現れる

能楽をモチーフにしたAR三兄弟作品「能ミュージック、能ライフ。」
そして、コレド室町のあいだを通る車道で展開されるのは、AR三兄弟のオリジナル作品「能ミュージック、能ライフ。」だ。白塗りの能面をつけた能楽師に女子高生、体操をするジャージ姿の（おそらく）中年男性、サラリーマン、そしてAR三兄弟自らがモチーフとなった3人の楽隊たちが登場し、各々に独特な仕草で動き回る。

AR三兄弟作品「能ミュージック、能ライフ。」のマーカーにもなった「クリエイター特区」のメインビジュアル
協力：喜多流シテ方能楽師 粟谷明生

今回の作品のアイデアソースは「能楽」だ。能楽師以外の登場人物も含め、その仕草はすべて実在の能楽師の動作をキャプチャしてつくられている。今回の開発に本格的に着手する少し前、初めて能楽堂で能楽を鑑賞したという川田氏。そこには、人が本来コントロールすることのできない「時間」を、音楽や演者の動きなど、複数の要素の演出によってコントロールする仕掛けがあった。650年以上の歴史を持つ能楽に仕組まれた、そんな時間操作の巧みな技と、無表情ながらさまざまな感情を感じさせる能面。それらに、日々スマートフォンを無表情で巧みに操作し、多様なコンテンツを倍速で消費する現代の人々の様子が重なったという。歴史ある日本橋の街で拡張すべきものとして、能楽をモチーフとした時間感覚の拡張を選んだ。

本作は複数のシーン（コンテンツ）からなり、基本は道路床面の水平を捉えると起動するが、「POSTER」と題されたコンテンツのみ、ポスターやチラシに配されたメインビジュアルをマーカーとしている。公募作品も含めると起動のさせ方ひとつをとってもいろいろで、「バラエティに富むAR体験を提供したかった」という川田氏の趣向が細部にまで反映されていることを感じさせる。また、企画の告知ポスターがそのままマーカーになっているという仕掛けは、ARに触れたことのない人にとって、よい入り口にもなったようだ。

アプリ「社会実験」上で表示される「能ミュージック、能ライフ。」のコンテンツ一覧
車道沿いに掲示されたポスターのキービジュタルがそのままARのマーカーに。ARが起動すると、キービジュアルがその場で動き出す

時間の流れをコントロールできるAR

本作の技術的な特徴は、YouTubeなどで動画コンテンツを観るときさながら、コンテンツの再生スピードや再生方向（巻き戻し等）がリアルタイムにコントロール可能なことだ（加えて再生前、コンテンツを任意の場所に設置するタイミングであれば、拡大縮小も可能）。コンテンツが再生されているその最中、スマートフォンの画面を指で上下左右になぞると、その方向によりコンテンツを巻き戻したり、早送りしたりできる。その機能は、前述した時間感覚の拡張として、本作において世界で初めて実装されたという。改めて、開発者としてのAR三兄弟の技術力に驚いたが、彼らにとってはさほど革新的なことではなく、そのアイデア自体は以前から温めていたものだったそう。

あるとき、「目の前の光景の下にシークバー（コントロールバー、註2）が現れて再生をコントロールできたら、と思った」という川田氏。その著書（註3）において「ARは省略」と話す彼のアイデアは、日常のちょっとした「こうできたら楽なのに」というような欲求から生まれるのかもしれない。しかし、そうしてわいたさまざまな技術的なアイデアは、それありきで作品をつくることはなく、その機能を実装するにふさわしいテーマが現れたときに初めて実装に至るという。自らを「開発者」と位置付け、多くの特許を取得するほどの技術を持つAR三兄弟。今回の作品の実質的な開発期間は2〜3週間程度だという。さらに、会期スタート当初には3つのコンテンツがあった本作だが、会期半ばに再度アプリを立ち上げると、新たなコンテンツが追加されていて驚いた。この実装のスピード感は技術的な裏付けあってのことだが、しかしながら技術優位ではない、テーマを重んじる開発を心がける姿勢こそが、彼ら独自の魅力的な活動を裏付けていることを感じさせた。

日本橋の通り沿いで、各々自由に振る舞うサラリーマン、ジャージ姿の中年男性、女子高生

未来を見据えて、今のうちに現実を拡張しておく

なお、採択作品はいずれも会場となった福徳の森の広場のみで体験できるかたちで公開され、会期終了後とともにその姿を消しているが、AR三兄弟の作品は引き続き同アプリ上で体験可能だ。2022年7月19日現在、「能ミュージック、能ライフ。」は6つのコンテンツからなる作品として公開されている。

ここで少し現実的な話になるが、ARを用いた作品体験において現状、どうしてもネックになるのは、体験前の体験者側での下準備の手間ではないだろうか。今回の場合、以前どこかでAR三兄弟のAR作品を体験したことがある人ならばその手間は省けるものの、「まずアプリをダウンロードして」というアナウンスを受けた途端に、その場を離れてしまう人も少なくないのではないだろうか。その点について、企画担当者と川田氏に尋ねると、「体験前のステップは課題ではあるものの、今後ハードデバイスがより進化した先を見据えて、あらかじめリアルの場にデジタルコンテンツを埋め込んでおくことが重要。「ここでしか出現しない」「ここでしか楽しめない」というデジタルコンテンツが街や場の至るところに隠されていることは、街に足を運ぶ強い動機であり、可能性を感じている。」と語った。確かに近い将来、軽量化されたARゴーグルをかけて人々が街を歩くようになったときに、結局リアルとバーチャルに大差がなくてつまらない、などということは避けたい。今はそのための下準備を、ワクワクしながら見守る時期なのかもしれない。

AR三兄弟によるもうひとつのプロジェクト

ARというデジタル技術を駆使して活動を展開するAR三兄弟が、「能楽」という伝統芸能に触れインスピレーションを得て開発した今作。ARと伝統芸能という一見遠い存在のマッチングは意外かもしれないが、近年のAR三兄弟の活動には、日本の伝統芸能や民俗文化への興味関心が見て取れる。そこには、彼らの今後の継続的活動となるであろう、人体データを通して文化をアーカイブするという構想がある。「バーチャル身体の祭典 VIRTUAL NIPPON COLOSSEUM」はその試みをわかりやすく示してくれるAR三兄弟の近作だ。日本橋の作品と同アプリで、いつでもどこでも再生可能なため、こちらもぜひ体験していただきたい。

「バーチャル身体の祭典 VIRTUAL NIPPON COLOSSEUM」キービジュアル
ウェブサイト「THEATRE for ALL」より

「バーチャル身体の祭典 VIRTUAL NIPPON COLOSSEUM」とその背景

オリンピックの開会式を自分が演出するとしたら……？　誰かのそんな想像を可視化した本作は、落語家の口上に誘われ、さまざまな芸能、芸術、スポーツがひとつの舞台で入り乱れる。相撲取りにバレエダンサー、舞踏家、スケートボーダー、パラアスリート、果ては山形県上山市で行われる祭事に登場する加勢鳥まで、その登場人物は多種多様だ。10分程度の作品だが、このまま続けば次は何が登場するのだろうと、その先を期待してしまう。

「バーチャル身体の祭典 VIRTUAL NIPPON COLOSSEUM」を、筆者が公園で起動し画面をキャプチャ。1/1サイズ、1/10サイズを選択可能なため、公園全体を舞台に見立てることもできれば、足元で小さく踊らせることもできる

背景を知らずとも魅力的な作品だが、その開発の背景には、コロナ禍における舞台芸術をはじめとする芸術文化活動の発表機会の損失があったという。なかでも川田氏の心に残ったのは、カナダを拠点とするシルク・ドゥ・ソレイユが事実上の経営破綻に陥り、所属ダンサーの活躍の場が奪われてしまったことだ。日々の研鑽によりその身体に培われた能力は、活躍の場がないと失われてしまう。シルク・ドゥ・ソレイユに限らず、日本でも多くの舞台や、地域の祭事などが中止を余儀なくされた。ただでさえその機会が限られている地域の祭事などは、一度の中止でも、失われるものは大きい。

人の動きをデジタルアーカイブに

そこで立ち上がったのが、人体データのアーカイブ実践プロジェクトである。モーションキャプチャによって、さまざまなプロフェッショナルの動きをデータ化し、デジタルアーカイブとして蓄積するのだ。「能ミュージック、能ライフ。」も「バーチャル身体の祭典 VIRTUAL NIPPON COLOSSEUM」も、登場人物たちはいずれもその姿の表層（3Dデータ）のみならず、動き（モーションキャプチャ）も、実在のプロフェッショナルの協力のもと、トレースしている。身体表現者ならずとも、何かを極めた人の身体には、本人も気づかぬうちに宿る仕草があり、それは言葉にしようとするとかえって難しい。動きをそのままキャプチャしデジタルアーカイブすることは、映像記録やオーラルヒストリーなど、既存のアーカイブとは異なり、当人にとっても無意識下にある情報を次代に引き継ぐことにつながるのではないだろうか。

「THEATRE for ALL」にて公開中のメイキング動画では、動きをアーカイブする様子が記録されている
ウェブサイト「THEATRE for ALL」より

素材としても魅力的なアーカイブ

加えて興味深いのは、そうしてアーカイブしたデジタルデータの一部が、誰でも活用可能なかたちで販売されていることである。本プロジェクトを協同する「THEATRE for ALL」上でAR三兄弟自ら、その活用方法をレクチャーするワークショップも開催している。ワークショップの記録動画によると、なるほど、これらのデータを活用すれば、相撲取り（の3Dデータ）にバレエダンサーのモーションをさせたりすることもできるらしい。ならば、人ならぬ3Dデータに舞踏の動きを……などと、筆者があれこれ試してみたくなったことは言うまでもない。彼らによって蓄積されるデジタルアーカイブは、それ自体が歴史的価値を持ちながらも、未知の可能性を秘めた、誰しもが活用可能な素材のアーカイブでもあるのだ。とはいえ、これまで3Dデータなどに触れたことがない人間にとっては技術的なサポートは必須だろう。ワークショップを今後も継続してほしいところだ。

オンラインマーケットBOOTHにて販売中の3Dモデルとモーションデータ
「BOOTH」内「THEATRE for ALL」より

バーチャル世界との架け橋

メタバースなど、オールデジタルな世界が水面下で広がりを見せるなか、なんとなくその世界の存在は知っていても、現実との距離を感じ、かえって不安を抱いている人もいるのではないだろうか。しかしAR三兄弟が私たちに提示してくれるARを用いた拡張現実的な世界は、現実世界とのつながりを保ち、現実世界をよりおもしろく「拡張」してくれる技術だ。AppleがそのOSを含め独自開発しているというAR/VRヘッドセットのリリースも近いと噂される昨今（註4）、デベロッパーとタッグを組んだ今回の企画は、近い未来に見られるであろう新たな都市の景色を、魅力的に活気づかせてくれた。今はあちこちにイベント的に出現しては消えてを繰り返すさまざまなAR作品が、いつか総出で私たちを楽しませてくれることを期待して、彼らの次の一手を見続けたい。

（脚注）
*1
画像における最小単位であるピクセルに、奥行を加えたような概念。コンピュータにおいて立体を表現するためのデータの最小単位であり、今回の作品においては、ARのマーカーとなる市松模様の各マスが1ピクセル、それぞれが奥行きを持ち立方体化したものをボクセルと呼び、ボクセルの集合体として巨大オブジェがつくられた。

*2
音楽や動画再生において、その再生箇所を可視化したバー（線）のこと。

*3
川田十夢、佐々木博著、ソーシャルメディア・セミナー編『AR（拡張現実）で何が変わるのか？』技術評論社、2010年

*4
2022年6月開催のWWDC22では発表に至らなかったものの、AppleはAR/VRヘッドセットとそのOSの開発を進めているという。WWDCはWorldwide Developers Conferenceの略称で、Appleが毎年開催している開発者向けイベントのこと。
参考：「AppleはWWDC22で一体何を発表するのか？　iPadOSがPCライクに進化＆新型Macが2機種登場など」Gigazine、2022年6月6日
https://gigazine.net/news/20220606-whats-coming-wwdc-2022/

※URLは2022年9月7日にリンクを確認済み