PARAOKE

PARAOKE:

Parallel Augmented Reality for Audience-Oriented Karaoke Entertainment

＜左の動画の日本語字幕です＞

PARAOKEは「Parallel Augmented Reality for Audience-Oriented Karaoke Entertainment」（聴衆指向の並列ARカラオケエンタテイメント）の頭文字です

ふつう，カラオケはマイクロホンと歌い手によって制約があります．

そして，聴衆は単に聞いているだけです．

我々の提案するシステム「PARAOKE」（パラオケ）は，多重化スクリーン技術により「パラレル拡張現実カラオケ」を実現するものです．

プレイヤーは偏光フィルタを通して自由に歌詞を見ることができます．

同時に，聴衆はイージーダンスを歌に合わせて自由に踊ることができます．

これはGPUベースのリアルタイム映像生成技術に成り立っており，本当に低コストで物理的なソリューションです．

このディスプレイシステムは既存の3Dプロジェクションと互換性があります．つまり2つの偏光プロジェクタを1つのスクリーンに投影しています．

普通の設定では，これでは2つの映像が同時に見えてしまいますが，これを改善する方法を開発しました．

我々の「Scritter-H」アルゴリズムはGPU上で動作し，融合した像からある像だけを除去することができます．

いま，YouTubeからフランスのポップミュージック「Je te donne」をダンスゲームととともに隠蔽して表示しています．

ダンスゲームもまたパラレルエンタテイメントを拡張するコンセプトで実装されています．

プレイヤーがWiiリモコンのボタンを押すと，「もっと動いて！」，「腕を曲げて」，「いいね！」といったモチベーションを喚起するメッセージが表示されます．

Kinectセンサーが聴衆の腕の角度を見ており，その値がプレイヤーの影とともに表示されます．

この方法は従来のダンスゲームのように，プレイヤーの自由なダンスのノリを阻害しません．

歌い手もまた自由です．歌声は高速フーリエ変換（FFT）で処理されます．

これは音圧をリアルタイムで点数として計算しています．

私たちは未来のパラレル歌唱ARエンタテイメントをリアルタイムシステムで実現しました．

これはプレイヤーの種類と人数を増やすことができます．

私たちは，これらのリアルタイム多重化ARエンタテイメント技術で人々のより良い暮らしを拡張できると考えています．

http://www.shirai.la/project/paraoke

アルファバージョンのスライドです（特別公開中，そのうち消すかも）

PARAOKE in Laval Virtual ReVolution 2012

(from subtitles)

PARAOKE is Parallel Augmented Reality for Audience-Oriented Karaoke Entertainment.

Normally, Karaoke has a limit of singers by microphones. And the audiences are just listening the singing.

Our proposed system "PARAOKE" can realize "Parallel AR Karaoke" thanks to multiplex screen techniques.

Players can see lyrics through a polarized filter freely. In the same time, the audiences can make easy dance freely with a same song.

It is a really light price physical solution with GPU based real-time image generation. The display system has a compatibility with current 3D projection. So, it has 2 polarized projectors on a screen. In a normal configuration, it shows 2 images onto the target screen but we have developed an algorithm to improve it. Our "Scritter-H" algorithm is performing on a GPU to hide an image from merged image.

Now a French pop music from YouTube video is playing hiddenly with a dance game.

The dance game is also having concepts and implementations to enhance the parallel entertainment.

When a player push a button on WiiRemote, it can show a motivation message like "move more!","bend arm" or "Very Good".

A Kinect sensor watches the audiences' arm angle values and they are shown on the screen with player shadows.

It does not avoid player's free dance motion like a conventional dance game.

The singers are also free to play. Their voice are performed by Fast Fourier Transform.

And it can count a power of sound pressure on real-time as a singer's point.

We have realized a future parallel singing AR entertainment in real-time system. It could extend number and variety of players more.

We hope it enhances human well-being thanks to these real-time multiplex AR entertainment techniques.

http://www.shirai.la/project/paraoke

- Short Version (with English & Japanese subtitles) -

- Alpha version -

HISTORY

• 芸術科学フォーラム(2012/3/16) ポスター展示
• Media Expo 2011 (2012/3/17) プロトタイプデモ展示
• Laval Virtual ReVolution 2012 国際デモ展示

展示依頼，共同研究のお申し出は歓迎です．こちらからどうぞ．

This project is focusing on the development of a new generation of karaoke entertainment system using augmented reality techniques. It has a multiplex hidden image display using stereoscopic projection and the hiding algorithm "ScritterH", a special device to see hidden images with a wireless controller called "Fil-Con", and a dance motion analyzer using Kinect for natural dancing support. The audience can participate in multilingual karaoke by singing and dancing. This system expands the possibility of karaoke entertainment from current karaoke systems meant exclusively for singers.