DAS06_2_7Maeda_j

Device Art CREST Symposium: Device Art With Sensory Illusion: Site Visit to the Field of Digital Media

by Taro Maeda

デバイスアートCRESTシンポジウム

「錯覚利用の感覚提示デバイスアート デジタルメディア領域サイトビジット」

プレゼンテーション：前田太郎（NTT→大阪大学）

2007年5月18日＠秋葉原UDX4F：アキバ3Dシアター

前田：我々のところでも、デバイスアートを実際に作ってみることと、その体験者たちの生体反応などで評価するという、この2つを考えています。で、我々のところの特徴としては、錯覚を利用するということがあります。感覚提示を行なうことで、何かしら人にインプレッションを与えるというアプローチです。

昨年度の成果としては、だいたいこの4つ……『ぶるなび』、『なぞり触覚ディスプレイ』、『Save Yourself!!!』、『Full-scale Saccade-based Display』があります。上の2つは従来通り、我々はこのCRESTに参加する前から感覚提示デバイスを作っていたのですが、その中でも特に注目していたのが錯覚を利用した感覚デバイスです。

錯覚といいますのは、本来は知覚しないはずのものを見る＝知覚する。そういうことが起こると、人間はそれを錯覚だと思うわけです。そうするとだいたい驚きを伴うわけです。この驚きの感覚がアートにつながらないかな、という観点で、何とかこれをデバイスアートとして見ていけないかと考えました。

逆に、このデバイスアートが何であるかというのを、自分たちの新しいデバイスを見た時の体験者の驚きから、何とかつないでいけないかということを考えています。それで昨年度我々が作った『ぶるなび』と『なぞり触覚ディスプレイ』の話を、まずさせていただきます。

それからもうひとつは、やはりデバイスアート作品として出す時には、ただ単にデバイスをデモンストレートしただけではダメで、アートとして提示していかなければならない。そこのところで「さきがけ」の研究者である渡辺淳司君に協力してもらって、いっしょに作品を作っております。我々のところがデバイスとしての開発と評価、基礎的な人間の反応知見やアートとしての演出を渡辺君が担当します。

8.1●『ぶるなび』──偏加速度錯覚によるバーチャル引力提示

最初にご紹介しますのが『ぶるなび』という、昨年非常に大当たりしましたデバイス。後でムービーをお見せしますが、要するに手に持ったものがバーチャル引力でもって人間を引っぱるというものです。バーチャルなので、あくまでも錯覚としての引力です。まずはムービーをお見せします［スクリーン］【動画1】。

先ほどガチャガチャやっていたのがバーチャルな手応えというか、引力を感じさせるものです。従来、そんなことは絶対できなかったわけです。なぜかというと、強力な磁石か何かで引っぱらないかぎり、宙に浮いたものが人間を引っぱることは不可能だったわけです。これは実際に物理的に力が要るからであって、錯覚を利用すればできます。

さらにガタを減らすために左右対称形にして、純粋に縦方向に動かすことができます。さらには、これは一方向にしか力が出ないのを、360度回るようにして、このバーチャルお盆が人間を引っぱってくれるようにしました。

これで《SIGGRAPH》のデモをしました。2人の人間が「バーチャルお盆」を持った状態で、それらがまるで、磁石のようにお互いを引き合うというデモンストレーションです。「なんで引っぱられているのだろう？」という感覚があると思います。実際にはこれ、10ヘルツぐらいの周波数なので、ガタガタガタという揺れが感じられる。それを使って、様々なバーチャル引力で「お金より心に惹かれている」とか、もしくは「重いファイルを転送していると、手に持っているメモリディスクが重たくなる」とか、そういうことをやってみせて、この感覚の面白さや驚きをなんとか伝えられないかということをやってきました。

実はこれ、《SIGGRAPH》で気に入られたらしく、その後、ディズニーの「New Technology Forum」に呼ばれて、デモをしてきました。最近では、この4月20日に「Laval Virtual」のグランプリとインターフェイス部門にてダブル受賞いたしましました。

8.2●なぞり錯触の利用──輪郭収縮ディスプレイ

もうひとつ、デバイスの開発で昨年度やりましたのが「なぞり錯触」。「錯視」とかはよく言われますが、この「錯触」というのは、触っている時の錯覚。要するに触っている物体が伸び縮みしているように感じられるということ。これもムービーをお見せします［スクリーン］【動画2】。

これはテレビモニタの上で伸びているものに触れます。触っている物体自体は1個なのですが、それが色々な形や幅に変形して触れる。人間というのは、こうやって手触りで頭の中にイメージを作るわけです。そのイメージを作る時の手掛かりとして何を使っているかというと……「なぞる」という作業です。

これが面白くて、要するに一部分しか瞬間的に触れていないわけです。なので、実ははなぞっている時にヒトはいくつかの仮定をする。その仮定こそが錯覚を生むわけで、その仮定のひとつが「触られているものは止まっている」という思い込みです。実際には指と物体の間に滑りが起こっていますから、ここの間でお互いにずれているので、その瞬間に追いかけてやると、あたかも幅が広いかのように錯覚する。本当の幅よりも大きな幅のものを触っていると思うわけです。ところが、今度は動きが逆に向かうと何が起こるか？ 本当の幅よりも狭いものだと錯覚するわけです。

この錯覚を利用することでテレビの表面に小さな一定の形のものを張りつけておいて、指でそれを追いかけさせてみると、好きな形のものを触ることができます。従来これは非常に難しいと言われていまして、だいたい指がモノの上を滑っている時、その速度は指先の震えで分かるだろうと。だから、こんなことをやってもバレるに決まっていると思われていたのですが、いざやってみたら、実は全然バレなかった。人間は相手がいつも止まっているものと決め込んで触っていたわけですね。そんなことがだいたい見えてきたわけです。

それで、下にひとつアクチュエーターを入れて、動かしてやる……触れる部分に決まった形のものを準備しておけば、任意の形状が出せるわけです。この仕組みで「触れるテレビ」が作れるのではないかということで、先ほどのような液晶ディスプレイをつけて「サイズが変わる月を触れる」といったことができるようになりました。

8.3●『Save Yourself!!!』（前庭電気刺激のもたらす「不可思議さ」と「身体の主体としての意識存在」の曖昧さを表現するデバイスアート）

このようにして、従来我々が開発してきた様々な触覚ディスプレイ……その中で錯覚に関わるものに着目してきました。実はこの『Save Yourself!!!』は昨年、前庭電気刺激という、両耳の後ろに電気を流すことによって、平衡感覚に錯覚を引き起こすことをやっていましたが、その時に感じたちょっと変わったフィーリングをなんとか人にアピールしたい。もうひとつには、我々もアートを具体的に作ってみないと、実際何が起こっているのかを評価することができないかと思って、作ってみたわけです【動画3】。

伝えたかったコンセプトは、実際に前庭電気刺激が入りますと、人間というのは勝手に体を傾けるのですね。その時、自分で傾けようと思うのではなくて、体が傾いてから「あ、俺は体を傾けているんだ。でも、確かに誰かに強制されているのではなくて、俺が動いたんだな」と。つまり自分の動き自体を後から追認する。「主体はどこへいったんだ？」という感覚が非常に強く生まれます。これは非常に変わった感覚で、実際に体験してみるまでそんなことがあるとは到底思えなかったわけです。自分の体というのは、常に自分の意識によってコントロールされているものだという意識をだいたいの人間は持っている。だから、実はむしろ体が勝手に動いた後、自分がそれを追認するというその感覚から、結局身体の主体としての意識はいったいどこにあるのだ？ という感覚を持つわけですね。

それをはっきりと示してみようというので、手に持ったお盆の中に筏を作りまして、その中に自分のアバター（分身）を入れてみました。そしてそのアバターといっしょに生活してみるというアートなのですね［スクリーン］。やっていることは前庭電気刺激で……こういうふうにユラユラと人間を揺らすことができる。

で、今回やりましたのはこの辺りです［スクリーン］。前庭電気刺激の装置と筏をリンクさせます。両耳の後ろにつけた電極で体が震えるというデバイスを使って……これはヘッドフォンではなくて、両耳の後ろに電極をつけているところです。それで、やっているのは「筏の傾きを人間の傾きに伝える」ということです。そうすると、ちょっと（被験者が）大袈裟に動いていますけれど（笑）、こういう感じになるわけです［スクリーン：ボウルの水に浮かんだ筏をゆらすと、被験者の体が揺れる］。まあ、イジメみたいですけど（笑）……当人は自分のアバターを守っている状態なので、守り通せれば平和に過ごせる。ただ、こんなアクシデントもある［スクリーン：筏の入ったボウルがうっかり触られてしまう］。

まあ、これは外から見ているとただ単におかしいだけですけれど、面白いのは結局「自分の主体というのはどこにあるのだろう」ということです。自分はこう動かそうと思うのだけれど、体が先に反応する。体が反応した後、自分がその動きを認識するという順番になっているので、ちょっと面白い。

実際にこれは「ドークボット」とか、色々なところでデモをやりました。やった時に1番特徴的なのは……実はこの前にやった『人間ラジコン』の時もそうだったんですけど、皆さん笑うんですよ。「ケタケタ」に近い感じで、非常によく笑う。もうひとつの特徴としては……笑わない人はだいたい気持ち悪いと言う。どうも笑いと気持ち悪さは、いずれも「混乱」に近いのかなと思う部分があって、新しい感覚、新しい組み合わせの刺激というものに対するある種のコンフュージョン（混乱）の反応のひとつとして笑いがある。

だからある意味。逆に言うと……笑いとは楽しさでもある。だいたいこれ、笑った人というのは体験した後「すごく楽しかった」と言うんですね。だから、アートの使い方のひとつとして「コンフュージョンさせる」というのがある。その上で、楽しさなり笑いなりの方にフィーリングを誘導するということが、ひとつアートの「設計論」ではないだろうかということが、このデモを通じて感じた部分です。

8.4●『Full-scale Saccade Display』──等身大化・フルカラー化による身体とのインタラクション＝計測・評価への展開の試金石へ

さて、ここまではある意味、従来的な「作ってみました話」です。ただ、「作ってみました話」で終わるわけにいかなくて、人間の計測をやらなければいけない。これ［スクリーン］は、次の《SIGGRAPH》に幸い通りましたので、実際に持っていきますけれども『Full-scale Saccade Display』です【動画4】。

この『～Saccade Display』というのは、CRESTが始まる前から渡辺君とやっていたディスプレイで、人間の眼球運動を利用して空中に絵を描くものです。これもある種の錯覚ですね。空中に絵なんて出るはずがないものを、空中に絵が出たかのように見せるディスプレイです。

これで、空間的な人間とのインタラクション、それから人間の計測としての眼球運動に少し手を出してみようということで、今やっています。これ［スクリーン］がフルスケールの『～Saccade Display』ですね。従来もっと小さいもので、だいたい目の前に置くとか、そこらへんに掛けとくとかぐらいのものなのですが、今回はLED1列分で作れるという簡易さを利用しまして、大きなものを作ってみました。だいたい人間の背丈と同じぐらいの大きさのディスプレイです。アートとして、まず迫力を出さなければならないというのと、もうひとつはフルカラー化するのにそこそこの回路規模が欲しいというので、フルカラーで人のサイズという作品を作ってみました。

原理的にはこんな感じでして、そこらへんでよく見たことがあるかもしれませんが（発光装置を）振れば絵が見えるというもの……だけどこれは、振らないのです。LEDの列をただ置いておいて、人間の方が目を動かします。そうすると相対運動が起こって、空中に絵が飛び出る。本来なんのディスプレイもないところに絵が飛び出るという印象が、まさに錯覚であり、見た人が「あっ！」と思うという仕掛けなのです。そのサイズを大きくする。ある意味これはスケール変換だけなので、その技術は別に珍しいことではありません。回路的にはしんどかったというのはありますけれども、担当者が頑張ってくれました。

それで、実際にこういう大きな絵が出るようになりました。やっぱり、こういうふうに大きさを変えるだけでも、インタラクティブ・アートの場合、大きく変わってくるということ等が色々と分かってきました。実際これは「メディア芸術祭」に設置してみたりして、いくつか分かってきたことがありました。

ひとつは、せっかくデモをしているのだから、みんなに見えないといけない。ただ、みんなに見せようと思うと、眼球がみんな一斉に動いてもらわないといけない。眼球の動いた瞬間にしか見せられない。それで何をやるかというと、急に点けるんですね。そうすると、みんなそちらの方向を見るので、その瞬間に見せる。そういったことです。次は、音を聞かせる（ガラスの割れる音で、注視させる）。それで、みんなが振り向いた瞬間に見せる。後は他の刺激で見せる。こういったアプローチがある、ということを考えています。

一方で、これを逆にバラバラに見せる……「ある人には見えるけれど、他の人には見えない」というふうにも使えるわけです。ただそれをやろうと思うと各自の眼球の動きが分からない。どのタイミングでどの人がそれを見たかということを利用しないといけない。使ったのは、この眼球運動の中では比較的測りやすい、眼底電位を測りました。人間の目というのは光を受けると帯電しますので、それで通常の脳波の値にも大きな電圧が出る。これを利用して眼球の動きを測るわけです。これとディスプレイを連動させると、目を動かす瞬間に見えますので、さっきみたいに音がしても振り向きそびれて見えないということは起こりません。明らかに眼球を動かしたその瞬間に点きますので、非常にきれいに見えます。他の人にはただ単に光っている線にしか見えない状態で、自分だけが絵を見られるわけです。こうやって眼球の動きを測らせてくれるユーザーがいれば、実際に今何を見ているのか……例えば、どれくらいの時間それを見てくれたのか、といった調査にも使うことができるメリットがあります。そういう「ついでに測ってやろう」という根性もあって導入した技術なのですが、一方で、これとの組み合わせでよく分かったのが、先ほどのLEDですね。

これは通り過ぎる際に、LEDがバーッと光って見られるのですが、配置の関係が非常に重要なのが分かりました。会場の角にこれを配置した時、すごく良く見えたのですが、これを壁に配置すると、前を通り過ぎても誰も見てくれない。ただ単に光ったLEDがついているな、としか思わない。ところが角にあると、そこのところで身体を90度回さないといけない。そうすると体を振る瞬間に見えるので、「えっ！」と振り返って……まあ、そこで渋滞が起こって困ったということもあったのですが（笑）、とりあえずそうやって見てくれる。

逆に、人の流れ、それから見ている際の停留時間といったものが、かなりインタラクションそのものになる。こういうデバイスであれば余計に人間の行動……眼球運動や歩行行動から、どのように評価しているか、その人が今どういうものを見ようとしているのか、という評価が外から見て分かる。これが我々的には、とりあえず自分たちのデバイスで導入してみて、評価に使えるだろうと……。

8.5●Saccade Displayの例──Full-Scale化による身体応答に期待

ということで、この「Saccade-based Display」でいよいよ、インタラクティブィティの変化を外部から計測できるようになるかということで、色々と測ってみようかなと思い始めているわけです。

後は、先ほどの笑いの話です。意識下の身体応答からの意識の誘導というものができる。これができれば、アートにおける、人に対する心理の発生の誘導ができる。これは、エンジニアリングにおいて心理的な応答の設計ができると、よりはっきりするのではないかと思います。

この辺をやっている時に岩田先生に「ガジェットリウムの基盤設計をぜひしっかりやりましょう」と相談をしないといけないと思ったのが、やはり「応答計測の環境整備」です。ごく普通にディスプレイの配置などを考えても、アートというのはその配置やら照明やらが、ものすごく重要なのはなぜか？ ある意味、自分たちで作品を作ってみて、ようやく分かった。あと心配なのが「計測の定量化」で、エンジニアリングする際に人間の反応をどうやって標準化するか。標準刺激の策定というのは本当に可能なのか、ということが今心配事として現われています。

8.6●今後の研究計画・展望

我々はエンジニアとしてのスタンスがどうしても強いので「驚き」や「感動」にしたって設計したい。人間の応答をあくまで設計として計画して、どういう応答をしてくれるのかをやっています。これは実はインタラクティブ・アートをやっているアーティストが本能的にやっていらっしゃる、もしくは、ある程度のノウハウでやっていらっしゃることではあろうと思います。でも、それを個別の設計論から一般論に持っていきたい。どちらかというと、アートの設計に役に立つのか、それともこれを勉強すると、我々のヒューマンインタフェース設計に役に立つのか、どちらの役に立つのか分からないけれど、とりあえず実のある結果につなげたいと考えております。以上です。

前の講演へ 次の講演へ