アーティストとして、大がかりなインスタレーション作品や知覚と関連付けたインタラクティヴ作品を発表し、教員として、メディアアートの制作教育に携わった三上晴子。2015年に逝去した同氏の活動にまつわる資料が、多摩美術大学アートアーカイヴセンターに集約され、アーカイヴ化が進められつつある。本稿では、プロジェクトに関わる久保田晃弘、石山星亜良がその取り組みを紹介する。


Eye-Tracking Informatics》の体験者が生成した仮想構造体の特徴を、機械学習によって分類した結果を表す潜在空間。似たもの同士を近くに配置することで、全体の分布が明らかになる。2本の赤線の交点が原点(中央値)で、その近くにあるものが典型例、そこからはずれたところにあるものが、特殊例になる

三上晴子アーカイヴのはじまり

2018年に設立された、多摩美術大学アートアーカイヴセンター(以下AAC)の収蔵資料のひとつに、「三上晴子アーカイヴ」がある。三上晴子は、1980年代からアーティストとして活動を行う一方、2000年からは多摩美術大学情報デザイン学科の教員に着任し、その後、亡くなる2015年1月2日まで、メディアアートを中心とする制作教育に携わった。本アーカイヴは、そうした三上の活動に関連する資料を、2003年の設立以来、三上の大規模なインタラクティブ・メディア・インスタレーション作品を共同制作してきた山口情報芸術センター[YCAM](以下YCAM)やご遺族の協力を得て、AACに集約したものである(註1)。

AACに収蔵されている資料は、三上の作品制作や展覧会に関するものから、大学の教育や実務に関するもの、日常生活に関わるものまで、多岐にわたるため、いまだそれらがアーカイヴとして十分に整理されているとは言えないが、進行中のいくつかのプロジェクトを通じて、資料の調査と内容の把握を少しずつ進めている。例えば、2020年度から21年度にかけては、映像を中心とする記録媒体の現状調査として、収蔵品の数量や外観からわかる情報をまとめた簡易リストを作成し、さらに一部の記録媒体については、多摩美術大学メディアセンターの協力を得て視聴し、映像の中身についても記述した(註2)。このほかには、三上が1980年代からアーティストとして行った活動(展示やイベント、トーク、審査員など)、多摩美術大学着任後に教員として行った活動(講義、ゼミ、学内のイベント、役職など)に関する情報を収集し、それらを一覧できる年表の作成を行った。また、活動に関する情報(ウェブサイト、書籍、批評など)も調査し、調査に利用したウェブサイト、データベース、アーカイヴの一覧を作成した。

教育者としての三上晴子

久保田は、馬定延と渡邉朋也の編著により、2019年3月に出版された、三上晴子についてのアンソロジー『SEIKO MIKAMI 三上晴子 記録と記憶』(NTT出版)に寄稿した「多摩美術大学におけるメディア・アート教育の実践」というテキストで、三上の15年にわたる教育者としての思想と実践を、その過程を振り返りながら概説した。そのなかでも紹介した、三上が全学の学生向けに開講していたオープン科目「メディア・アート原論」に関する資料を整理、再編し、美術教育の場で継続的に利用できるような講義資料としてアップデートすることを試みている(註3)。三上の「メディア・アート原論」という講義の特徴は、90年代に日本とヨーロッパを中心に生まれた(ニュー)メディアアートを、その誕生以降の動向だけでなく、それに先立つ芸術運動や関連する分野も含め、今日に至る歴史的経緯や社会動向を、最新の話題も取り上げながら、多面的かつ領域横断的に紹介しようとしたことにある。アーカイヴには、三上が講義で使用したスライドなどの資料がそのまま残されていた。そこで、久保田と、多摩美術大学情報デザイン学科に在籍中、この授業を受講した経験を持つ石山が、資料を当時のまま保存するだけでなく、今日の美術教育、とくにCOVID-19によって必要不可欠となった、オンラインでの学びにも活用できるように、講義スライドの内容を整理・分析し、時間や場所の制約を超えて利用可能な講義資料として再編することとした(図1)。講義全体の構成やそこで取り上げられている項目、三上のオリジナルと判断できるテキストを講義の骨格として保持しながら、毎年内容のアップデートが行われ、講義が行われたその時々の「いま」が埋め込まれているという資料の特徴を受け継ぎ、最終開講となった2014年度以降の関連動向、国内外のアーカイヴが公開する資料、作家や作品を知るために役立つ情報を随時収集・反映し、継続的に機能させることを目指している。プロトタイプについては、久保田が実際に多摩美術大学の授業で使用し、閲覧者が意見を投稿できる仕組みを設けて、そこで得たフィードバックをもとに講義資料の改善を行った。また2014年度以降の情報収集にあたっては、フォームを設けることで閲覧者からも情報を募り、寄せられた情報を共有することも試みた。講義資料については、今後も継続して検討とアップデートを行っていく予定である。なお、三上はこの講義のなかで、自身の作品についても紹介している。つまり、この作業は同時に、三上の作品制作の背景を探る作業にもつながっている。

図1 講義スライドのオンライン授業用の講義資料への再編例

インタラクティヴ・アート研究

三上が制作・探究した、インタラクティヴなメディア・インスタレーション作品の特徴のひとつは、それらが、作品を鑑賞する体験者抜きには成立しないことにある。そんなインタラクティヴ・アートの本質を問うために、三上が2011年に制作し、2018年にYCAMが再制作した《Eye-Tracking Informatics》(以下《ETI》)を事例として、インタラクションのアーカイヴに関する研究を進めている。《ETI》は、「視ることを視る」をテーマにしたインタラクティヴ・アート作品である。体験者の視線をデバイスによって検出し、その視線の動きから、アルゴリズミックに3次元の仮想構造体が生成される。動的に構造化された視線を、体験者が再び視ることで「視ることを視る」というフィードバックループが生まれ、さらに2人が同時に体験することで、視線による体験者同士のコミュニケーションが可能になる(図2)。


図2 三上晴子「Eye-Tracking Informatics Version 1.1」 ─ YCAMとの共同研究成果展
撮影:竹久直樹

再制作された《ETI》は、2019年1月9日から11日にかけて、AACに併設されているアートテークギャラリー105で開催された「三上晴子「Eye-Tracking Informatics Version 1.1」 ─ YCAMとの共同研究成果展」で、再展示の実証実験が行われた(註4)。その後、同年5月18日から翌年2月28日まで、東京・初台のNTTインターコミュニケーション・センター[ICC]で開催された「オープン・スペース2019 別の見方で」展において、長期展示が行われた。そこで、視線の動きと構造の相互作用という《ETI》におけるインタラクションそのものを探究するために、2020年1月12日から会期終了まで、作品のヴィジュアル・プログラミングを担当した平川紀道の協力と体験者の了解を得て、体験時の視線の位置と生成された仮想構造体の時間変化を記録した。各回5分間の体験ごとに、約1万5,000点のサンプルが取得でき、そこには、各表示フレームのタイムスタンプとスクリーン上での視線の動き、生成された仮想構造体の骨組みの3次元座標が記録されている。

まず初めに、記録された総計770例のデータそれぞれの可視化と定量的な分析を行った(註5)。視線の動きやそこから生成された構造体の形状だけでなく、速度や加速度を求めて比較検討することで、《ETI》のインタラクションには、いくつかのモードがあることがわかってきた。代表的なものとして、視線があまり動かず、滑らかな構造が生まれる「グライディングモード」と、視線が小まめに動き、くるくると縮れた構造をとる「ターンモード」の2つがあり、さらにこのモードは、仮想空間のなかを視線が散策する「探索モード」と、生成された構造を追いかけたり逃げたりする「追跡(逃避)モード」に分けられる(図3)。


図3 《ETI》におけるインタラクションのモード

この個別データの分析を踏まえ、2021年度には堂園翔矢の協力を得て、《ETI》の全視線データの機械学習を用いた解析による、取得したインタラクションデータの全体像の把握に取り組んだ。視線の動きと仮想構造体の形態を、Variational Auto Encoder(以下VAE)という、データの特徴を獲得するための教師なし学習を用いて、データ全体を分類し、その典型例や特殊例を抽出した(図4)。こうした分析を通じて、《ETI》におけるインタラクションの全体像が少しずつ見えてきた。

図4 VAEによって抽出された仮想構造体の典型例

並行して、平川紀道の協力で進めているのが、〈Proto-ETI〉という《ETI》のインタラクション分析を検証するための実験環境の構築である。〈Proto-ETI〉は、視線検出デバイスやマウス入力、およびその記録データから、《ETI》の仮想構造体の骨格のみを生成する、いわば《ETI》の構造シミュレーターである。さらに、《ETI》のインタラクションのパラメーターを、UIによってリアルタイムに設定・変更したり、体験者相互のコミュニケーションの有無や、画面上にグリッドを描画するかどうかを選択したりすることで、インタラクションのパラメトリックな実験が可能になる(図5)。

図5 〈Proto-ETI〉の初期バージョン

加えて、この〈Proto-ETI〉によって、インタラクションによって生成された仮想構造体を何度も繰り返し見る、すなわち鑑賞するという新たな体験を、半ば予期せずつくりだすことができた(図6)。従来の《ETI》の展示の際には、体験者を次々と入れ替える必要があるため、つくられた仮想構造体を、体験終了後にゆっくりと観察することはできなかった。〈Proto-ETI〉によって可能になった、この「インタラクションを鑑賞する」ことについても、今後検討していきたい。さらに、前述のVAEは、学習データから構造体だけでなく、視線の動きそのものを生成することも可能であり、そうした生成された視線データによる仮想体験の結果としての構造体を、再分析したり鑑賞したりすることも可能になる。今後も、機械学習と〈Proto-ETI〉を組み合わせながら、《ETI》を典型例としたインタラクティヴ・アート作品の理解や解釈、その鑑賞が持つ意味を、検討していく予定である(註6)。


図6 《ETI》のインタラクション記録の鑑賞

三上晴子アーカイヴの今後

前述のように、三上晴子アーカイヴのアーカイヴとしての整備状況はまだ道半ばであるが、収蔵している資料の閲覧希望者に、個別対応できる体制を整えつつある。同時に、関連する研究成果については、毎年12月初旬に開催しているアートアーカイヴシンポジウムや、AACが発行しているアートアーカイヴィングの研究誌「軌跡」、「多摩美術大学研究紀要」などで、随時発表している。将来的には、ウェブでの資料の一般公開なども、検討していきたいと考えている。

なお、「メディア・アート原論」と《ETI》のインタラクション分析の成果をベースに、メディアアートを「伝える」「知る」「学ぶ」そして「つくる」ことを支えるプラットフォーム「Platform for Media Art Production (PMA)」の設計と試験的な実装を開始した。こちらについては、現在、メディア芸術連携基盤等整備推進事業の「メディアアート作品の調査とメディア芸術データベースのデータ整備他」において、堀口淳史らと共に検討を進めている。


(脚注)
*1
さらに、生前関係の深かったP3 art and environmentから、三上の80年代の主要作品のひとつである《Iron Plant》が寄贈されている。

*2
石山星亜良・曽根章・久保田晃弘「映像アーカイヴ構築のための基礎調査 三上晴子アーカイヴにおける現状の把握から今後の計画まで」「軌跡」no. 3、2021年。

*3
石山星亜良・久保田晃弘「[共同研究報告]アートアーカイヴを活用したオンライン講義の試み―三上晴子の「メディア・アート原論」を事例として」「多摩美術大学研究紀要」35号、2021年、163-170ページ。
石山星亜良「三上晴子アーカイヴから立ち上がる講義資料」「軌跡」no. 3、2021年。

*4
平川紀道・渡邉朋也・馬定延・久保田晃弘「[研究論文]メディアアートのための生成するアーカイブ試論(後編)」「多摩美術大学研究紀要」33号、2019年、71-79ページ。

*5
久保田晃弘「メディアアートにおけるインタラクションの分析方法―三上晴子《Eye Tracking Informatics》を事例として」「軌跡」no. 3、2021年。

*6
久保田晃弘・平川紀道・堂園翔矢「現状報告:三上晴子アーカイヴ」「軌跡」no. 4、2022年。

※本研究の一部はJSPS科研費 JP21K00117の助成を受けたものです
※URLは2022年8月9日にリンクを確認済み