​​Inside “NETWORK SYMPHONY”
​​2018 年 3 月 13 日より上野・国立科学博物館にて開催されている特別展「人体 ー神秘への挑戦ー」内のインスタレーション「人体 NETWORK SYMPHONY」。
​​
​​これは NHK スペシャル「シリーズ 人体 神秘の巨大ネットワーク」全 8 回を通して解説されていた「メッセージ物質」のやりとりを体感できるもの。各臓器がどういった意図でメッセージを発し、そのメッセージを受け取った臓器がどういった反応を起こすのかを、美しいビジュアルとサウンドで体感することができます。
​​
​​
 
User-uploaded image: image.png
​​
​​映像はこちら
​​

​​ハードウェア構成

​​
​​
 
User-uploaded image: body-ex-system-20180319.png
​​Arque さん設計
​​

​​ソフトウェア構成

​​
​​
 
User-uploaded image: software-schematic.png
​​Saqoosha 設計・プログラミング
​​あとのまとめに詳細書いてあるけど、負荷対策として TouchDesigner は 2 インスタンス動いてます。
​​
​​

​​プロジェクションマッピング

​​1. TD 内で実際のスクリーン形状に映像をマッピング

​​ここでいうマッピングはプロジェクションマッピングではなく、ふつうのテクスチャマッピングのこと。最終的な見栄えをつくる。今回は浅いお椀型なので単純に真上からの絵をペタり。
​​
 
​​Blender で図面からおこしたやつ
​​
 
​​

​​2. TD 内でのプロジェクター位置にカメラを置く

​​プロジェクターから見えるべきえをレンダリングするために、プロジェクターと同じ位置にレンダリング用のカメラをおく。んで、レンダリングする。これを 4 プロジェクタ分やる。
​​
 
​​4 方向から。角度浅い。

​​3. ブレンディング

​​当初は光量が全面均一になるように全体を4分割してつなぎ目だけブレンディングするように作ってたんだけど、
​​
 
​​
​​本番会場でセッティングしてみると光量不足だった（↑明らかに無駄が多いｗ）ので、ムラが気にならないギリギリのとこまで 4 台のプロジェクターの絵を重ねて光量稼ぐようにした。
​​
 
User-uploaded image: image.png
​​プロジェクションの角度が浅いので近く遠くが同じ明るさになるようなマスク

​​4. プロジェクタで投影する

​​4つのフル HD プロジェクター、OS 側では全部つなげて 4K 一画面として扱ってたので、適切に↑の 4 つの絵をならべてフルスクリーンでぽん。
​​
 
User-uploaded image: image.png
​​

​​5. 調整する

​​今回のスクリーンは糸で編まれた複雑な形状なので、シミュレーションもざっくり雰囲気でしかできておらず、現場で実際に組み上がったスクリーンの位置・高さを計測して、それを最初の 3D モデルに反映させて TD に読み込み直して、っていうのを何回かやった。あと、レンダリング用のカメラの設定（位置・画角）も現場で地道に調整・・。
​​

​​シミュレーター

​​本番と同じ環境を事前につくるのは無理！ということでシミュレーターを作りました。
​​
 
​​わりとまだ初期のほうのバージョンの映像なので賑やかさが足りない
​​根幹となる TouchDesigner 部分はほんとどそのまま、会場を Unity で 3D で再現してスクリーンを設計図通り設置してプロジェクターとセンサー系と照明系も極力本番同様の見た目になるようにつくる。かつ、それぞれが実際のデバイス同様に動くように入出力まわりもちゃんとつくる。んで、さらにそれらを VR で見れるようにしました。
​​VR 内でセンサー位置に移動すると、仮想センサーから信号が TD に送られて、その結果生成された映像がこんどは逆に TD から Unity にもどってきて仮想プロジェクターから仮想スクリーンに投影されて、それを VR で見るという・・・​🤣​
​​
​​
 
User-uploaded image: simulator-schematic.png
​​外部デバイスまわりを全部 Unity 内の仮想デバイスで置き換える
​​

​​プロジェクション

​​プロジェクションすべき絵は生成済みなのでそれを Spout を使って Unity 側へ転送。Unity 側ではそれをスポットライトを適用するのとおなじ手法でスクリーンにはっつける。このときスポットライト同様、シャドウマップを適用しないと本来プロジェクターの光が届かない場所にもマッピングされてしまうので、プロジェクタ位置からのでデプスマップを取得するためだけにプロジェクタ位置にカメラをおいてある。
​​
  1. ​​プロジェクタ位置にカメラ置いてデプスマップをレンダリング。
  1. ​​Spout でカラーマップうけとる。