このレポートでは 11月１日に行われたRhizomatiks の 堀井哲史氏 と 花井裕也氏による講義を紹介します。FlyingTokyo2024はRhizomatiksが若手クリエイターを支援する事業であり、今回の講義は実際にRhizomatiksに所属するクリエイター、エンジニアをゲストにした回でした。採択者の興味関心も高まる中、講義は堀井氏、花井氏の順番でトークを進める形で進行していきました。その模様をテキストでお届けするとともに、講義を踏まえてこのレポートの執筆者である本事業の採択者の芹澤が何を感じたのか取り上げます。

堀井哲史氏レクチャー

堀井氏は 2007年からRhizomatiksに所属し、主に映像制作を担当しています。近年ではプリレンダリングの映像の制作を手掛けています。

堀井氏がRhizomatiksに入った当時は、Webコンテンツが盛んな時代だったためWebコンテンツの案件が多く、特にインタラクティブな表現や実空間と連動するコンテンツの制作に当時は関わっていたそうです。しかし、Webコンテンツの人気が下火になるにつれ、実空間での映像表現へとシフトしていきました。そこからさらに、パフォーミングアーツで用いられる映像表現に携わることが増えていきました。また制作手法に関しても、初期はリアルタイム映像を用いた表現を用いた後に、やがてリアルタイム処理の制約による表現の限界を感じ、その結果プリレンダリングの映像に移行していきます。プリレンダリングすることによって、高密度な映像表現や大規模なシミュレーションを用いた表現の制作が可能になるというメリットがあるとのことです。

堀井氏は 「プログラミングだけで作る映像表現の可能性を探ることが自身のモチベーションの一つ」 であると述べていました。このモチベーションはRhizomatiksに所属する以前、学生のころから持っているものだそうです。

堀井氏のRhizomatiksでの立ち位置やその変化のお話をお伺いした後、講義は実際に制作過程で生じる細かい課題をどのように解決してきたのかという実践的な話に移行していきました。こちらのレポートでは詳細な部分を書けないところも多いですが、採択者にとって非常に有意義なお話となりました。実際のシステムやソフトウェアの画面のキャプチャを見せながら、どのように解決してきたのかを解説していただきました。

そのなかで、具体的には映像の同期の問題に触れていました。例えばカメラ映像の同期をする際など、もし既存のソフトウェアの機能だけでは解決できない場合、その同期方法を独自に開発する必要が出てきます。実際に過去の案件でそういった事例があり、その際には同期を行うシステムを制作。これにより、どのソフトウェアを使用していても同期を取ることができるようになり、ソフトウェアの違いが課題になることを回避することができたのです。

より映像制作的な側面での課題にも触れていました。近年、堀井氏は展示などのイマーシブ（没入型）な映像の制作に関わることが多く、その中で直面する課題の一つが、特殊なスクリーンに投影する際の処理です。たとえば、円柱のような特殊なスクリーンでは、映像の端と端がシームレスにつながるようにする必要があります。この場合、通常のレンダリング方法では対応できないため、レンダリングの仕方を工夫しました。

この点については、実際に映像制作を行ったCGソフトウェアの画面を見せながら解説。また、天井や壁など複数の面に映像を投影するような場合には、各面をまたぐ映像のつながりをどのように保つかが課題となります。この際は、全天球映像で制作を行うことで対応したそうです。他にも歪みや解像度の問題にも言及していました。

《Synthesis of Body-Space-Music》真鍋大度新作個展「Continuum Resonance」展示風景 (VS.、2024年) photo by Muryo Homma (Rhizomatiks)

具体的な課題解決のお話を通して、映像制作における課題解決の解像度が上がるとともに、堀井氏の技術力の高さを随所から感じました。講義も後半戦となり花井氏の講義に進んでいきます。

花井裕也氏レクチャー

花井氏は2014年よりRhizomatiksに所属するソフトウェアエンジニアで、主に映像システムの開発を担当しています。

花井氏はまず最初に入社初期に開発したヘッドセット・カメラ映像・3Dスキャンを組み合わせたモーフィング技術の開発について解説しました。カメラ同士の映像をスムーズにモーフィングするためのシステムを開発していたそうです。このシステムの開発を手掛けていた当時の関心は、「これまでに見たことのない映像を生み出すシステムの開発」 にあり、特にリアルタイム映像表現の中で新しい映像を作ることが大きなモチベーションだったということ。そしてこのシステムはステージ演出などに応用されていきます。ミニチュアを使ったテスト映像から、実際にコンサートの演出で使用した映像も紹介していただきました。またコンサートの事例を通して、制作過程で生じた問題点や、それをどのように解決したのか、どのようなシステムやワークフロー を採用したのかについても詳しく説明がありました。新しくて複雑なシステムを開発すると既存のワークフローと整合性が取れないことが多く、その難しさに直面したそうです。

次にキャリブレーションについてのお話がありました。花井氏はレーザーなどのハードウェアの制御も担当することがあり、キャリブレーションのシステムの開発も行ってきました。Rhizomatiksに所属してから5年間ほどはキャリブレーションのシステムの開発を数多く担当されました。キャリブレーションは正解が明確に決まっており、適切に調整されているかどうかがすぐにわかってしまうようなもの。また機材の台数が増えてくると気合も必要な作業になってきます。現場での設営時間が限られている中で、いかに短時間で調整を完了させることができるシステムを開発できるかどうかが重要な部分だったそうです。

また花井氏は 機械学習を活用した開発にも取り組んでおり、スポーツの可視化に関するプロジェクトを紹介しました。フェンシングの剣先を可視化するプロジェクトでその検出システムの開発について解説しました。このプロジェクトでは、実際のフェンシング選手にも協力してもらいながら、物体検出アルゴリズムを用いて剣先の細い動きをどのように認識するかという課題に取り組みました。

ここ最近はAIを用いたプロジェクトに関わることが多いそうです。それゆえ花井氏の興味もここ10年くらいでAIにシフトしていきているとのこと。実際に関わったプロジェクトでは「人とAIの作ったものの違いは何か」を念頭に、「ナラティブ」、「ストーリー」、「プロセス」を持ったAI作品は作れるのか取り組んだそうです。花井氏は、メディアアートでAIを用いている人は多いが、それはAIにしかできない面白さがあるから取り入れていると述べました。そしてそのうえで、ここ数年のAIの性能が劇的に向上し、人間の模倣に近づいて行っている状況はとても興味深いそうです。

ここでRhizomatiksのAIアート作品 『Beyond Perception』 についても紹介しました。この作品では、Rhizomatiksの過去の作品データのみを学習させたAI モデルを用いてアート作品を生成し、それを現代アートとして販売する試みが行われました。

https://rhizomatiks.com/work/rhizomatiks-beyond-perception/
「Rhizomatiks Beyond Perception」展示風景 (KOTARO NUKAGA （天王洲）、2024年)

また、Refik Anadol氏のMoMAでの展示作品についても言及し、GANを使用したAIアートの事例を紹介しました。AIとアートの関係性について、「どこからどこまでがAIの創作なのか」「最終的なアウトプットがAIなのか」といった議論が重要であるとのこと。また『Beyond Perception』ではAIが出力したものがそのまま作品になっている点が重要であると述べました。「AIをアートに取り入れることが多い時代だからこそ、どの部分がAIによるものなのかを包み隠さず明確にすることが大切だ」と考えているそうです。またAIで生成されたものをアートとして昇華する要素は何かという点に関しては、今の時代においては自分でゼロからデータを収集し、アルゴリズムから制作することが重要なのではないかと花井氏は考えています。大企業の提供するモデルを使ってしまうと、制作者がコントロールできない部分が多く、その時点でバイアスがかかってしまうのではないかと指摘しました。

最後に、AIが生成するビジュアルがリアルなものに近づいている中で、現実世界にAIの面白さが収束していってしまうのではないかという話題になりました。AIが人間が作ったものをデータに学習しているため、どうしても人間と同じ方向性になってしまいます。しかし、そうはなってほしくないと花井氏は考えているそうです。人間と同じ方向性に収束しないためには、コンセプトの部分で何を学習データにしているのかが大きいのではないか、そしてそのAIが生成したものに対して、人間がそれに着想を得た新しい創作をすれば、AIを用いた表現の可能性は広まっていくのではないかと指摘しました。AIを使うからにはAIにしかできないことをやるべきであると考えているそうです。

花井氏のレクチャーはAIと芸術の関係性など、単に技術的な話だけではなくコンセプチュアルな部分まで掘り下げており、作品制作の参考になりました。

制作においてどのようにテクノロジー向き合っていくのか

今回の講義を通じて、AIをはじめとするテクノロジーと創作の関係をどのように考えるべきかについて深く考えさせられました。技術が進歩し、様々なテクノロジーを搭載した高性能なツールを誰もが容易に利用できる時代になった今、アーティストはどのような意識を持つべきなのでしょうか。かつてはメディアアートとして見られることの多かったテクノロジーを用いた手法も、今ではさまざまなジャンルの制作の手法として用いられています。その中で、私自身も「現代におけるメディアアートとは何なのか？」と考えることがあります。

私自身も、技術の進化による恩恵を受けながら制作を行う一人です。以前は専門的な知識がなければ実現できなかった表現も、今では手軽に自分のような知識の少ない人でも試すことができるようになりました。しかし、それにより生まれる表現の幅が広がる一方で、「なぜこの技術を使うのか？」「なぜこの表現を使うのか？」という問いへの説得力が、より求められるようになっていると感じます。技術を活用すること自体が目的になってしまっている作品は、今の時代において作品としての価値が弱いのではないかと講義を聞いていて感じました。

こうした現状を踏まえ、これからどのように制作を行っていくのか、講義を通じてヒントを得ることができました。特に印象に残ったのは、花井氏が述べていた「AIが生成したものに対して、人間がそれに着想を得た新しい創作をすれば、AIを用いた表現の可能性は広まっていくのではないか」という考え方です。これは、単にAIを使って作品を作るのではなく、AIと人間が相互に影響を与えながら、新たな創造性を生み出していくという視点です。

私自身は今現在、映像といったデジタルメディア内の表現の質感を、物理的な現象にまとわせることで「リアリティ」がどこにあるのかという方向性の作品制作を行っています。今後も制作を行っていくうえで、より私たちが置かれているテクノロジーやメディアとの関係性に目を向けて、作品の中に取り込んでいきたいと思いました。

今回の講義を通じて、テクノロジーと対話しながら創作を進めることの大切さを改めて学びました。AIやその他のテクノロジーを使うことは、単に効率化、人間の代替を行うためのものではなく、新しい表現の可能性を探るための「問いかけ」の手段なのではないかと感じました。またただ使うことだけではなく、テクノロジーとの関係性を取り扱うことが今のメディアアートの形でもあるのではないかと今回の講義から感じました。