Here you can see some of our works in action! / 我々の研究成果の一部をご紹介いたします.
Disclaimer: The movies and links presented here contain those that have not been not created by us. / これらの動画・リンクは我々により製作・投稿されたものとは限りません.
In this demo in Digital Content EXPO 2017, we held a piano duet concert featuring human pianist and a virtual pianist, synchronized using our automatic music ensemble technology. The piano on the right-hand side is the virtual pianist. We project a "shadow" on the floor, for visual effect. We also held a concert with human euphonist and virtual wind ensemble.
デジタルコンテンツEXPO2017にて,人間と機械による二台ピアノ編成のミニコンサートと,管楽器のミニコンサートを実施しました.この動画では人間の演奏に対して画面右手の自動演奏ピアノが応答します.自動合奏システムにより,人間と機械が同期してひとつの音楽を作り上げます.画面右下に投影されている「影絵」によって機械の存在感を演出しました.
In this video, a collaboration with the Tokyo University of the Arts, we use the automatic music ensemble engine to have a piano quintet, featuring the Scharoun Ensemble on the strings, and recuperated performance of Svialatov Richter on the piano. The concert was performed on May 2016.
東京藝術大学とのコラボレーションで,機械と人間による弦楽五重奏を実現しました.弦楽器にシャルーンアンサンブル,ピアノにはスヴャトスラフ・リヒテルの復元データが再生されます.復元データは,自動合奏システムにより,人間のその場のテンポ感に合わせることができます.
In this demo, eVY1, a singing voice synthesis hardware, sings a melody along the piano accompaniment.
このデモ動画では,歌声合成ハードウエアのeVY1が,人間のピアノ演奏に合わせて歌ってくれます.人間のタイミングに合わせるために自動合奏システムの初期版が使われています.
In this demo, Hatsune Miku, a popular character, dances a traditional Japanese exercise "Radio Taisoh" along the piano music performance.
このデモ動画では,人間が演奏する「ラジオ体操第一」のピアノ演奏に合わせて,初音ミクが踊ってくれます.人間のタイミングに合わせるために自動合奏システムの超初期版が使われています.
Akira Maezawa, Kazuhiko Yamamoto. “MuEns: A Multimodal Human-Machine Music Ensemble for Live Concert Performance.” Proceedings of the 2017 ACM CHI Conference on Human Factors in Computing Systems (CHI ’17), pp. 4290–4301, 2017.
This page contains some audio examples. / このページにて視聴いただけます.
Akira Maezawa, Katsutoshi Itoyama, Kazuyoshi Yoshii, Hiroshi G. Okuno. “Nonparametric Bayesian dereverberation of power spectrograms based on infinite-order autoregressive processes" in IEEE/ACM Transactions on Audio, Speech, and Language Processing, 22(12), pp.1918-1930, 2014
Do you have in your mind your "ideal" way to play a given piece of classical music? With Query-by-conducting, you can "conduct" your ideal interpretation, and the system will find the closest match for you. The demo video is shown below. / 自分好みの弾かれ方で演奏されているクラシック音楽の演奏録音を探したいことはありませんか?Query-by-Condutingを使えば,任意の曲に対してあなたの理想とする解釈を指揮すると,その解釈に最も近い録音を見つけてくれます.デモ動画はコチラ:
Akira Maezawa, Masataka Goto, Hiroshi G. Okuno. "Query-by-Conducting: An interface to retrieve classical-music interpretations by real-time tempo input." Proceedings of the Internal Conference on Music Information Retrieval (ISMIR), pp. 477--482, 2010.