@blend‎ > ‎Blender‎ > ‎Python sctipts‎ > ‎

Real Time Lipsync Tool


機能しなくなりました
This add-on can't work current blender

コールバック処理を使っているのですが、現在、コールバック処理の登録が出来ない為に動作しません
This module use callback procedures. But it can't be registered currently, so this add-on can't work.



使い方まったり作成中
I'm making the article how to use,just chillin.

Download
Blender Add-Onのダウンロード (Download python-script)
改造版juliusのダウンロード
Windows版(x64 cross compile)(要VisualStudio2008再頒布パッケージ)
Windows版(win32 native)
Ubuntu 64bit版
ソースコード(./julius/output_module.cのみ変更)

音響モデル&辞書 / Acoustic models and Dictionaries


データが大きすぎてGoogle-siteにアップ出来ないのでリンクのみ紹介
I introduce only URLs because the files are too large to be uploaded on Google-site.

julius Web Site
日本語の音響モデルと辞書 / Japanese acoustic models and dictionaries
julius dictation Tool Kit (設定、辞書データのみ使用 / Use only config and dictionary datas)

VoxForge.org
GPLv2の音響モデルと辞書(英語、ドイツ語)。julius用データを使用。
GPLv2 acoustic models and dictionaries for English and German. Use datas for julius.

英単語辞書データ(音素記号を網羅するため/ 検討中)
English words data (For including all phoneme symbols in the dictionary / Now planning)


使い方 / How To
(1) 本ページよりpythonスクリプト=Add-on、julius実行形式ファイル(Windows、Ubuntu_amd64のみ)をダウンロード、もしくは改造版juliusソースコードをダウンロードしてビルドする。
Windows版にはVisual C++ 2008 SP1再頒布パッケージが必要。

(1) Get the python-script as add-on and julius executable file(Windows,Ubuntu_amd64 only),or build the source of the modified julius from here.
Windows executable module needs Visual C++2008 SP1 Runtime module.

(2) 音響モデルと辞書データを取得する。
例)
日本語:juliusウェブサイト http://julius.sourceforge.jp/
英語、ドイツ語:VoxForge.org http://www.voxforge.org/
パッケージをダウンロードし、辞書データ(jconfファイルを格納しているフォルダー)のみ使用。
辞書情報募集。
※VoxForgeの辞書はデモ用の最低限の単語しか登録されておらず、音素記号を網羅出来ないため、英語単語辞書に関しては最低限の音素を網羅する追加テキストを準備予定。

(2) Get the acoustic models and the dictionaries
ex)
Japanese:julius homepage http://julius.sourceforge.jp/
English,German:VoxForge.org http://www.voxforge.org/
Download packages,and use only the dictionary data as the folders and files under where there is jconf file.
I want the information of CMU type acoustic models
※VoxForge dictionaries has only the least words for demo,it doesn't include all phoneme symbols,so I'm planning the list of the words including all symbols.

(3) ダウンロードしたファイルを任意の場所に格納/展開する。但し、パスに空白を含めないこと。
(3) Put or extend zip on any folder,but not include SPACE in the filepath characters.

(4) マイクを設定する
(4) Set up microphone
使用するマイクを"規定のデバイス"に設定する

※手動でjuliusを起動する場合は、環境変数"PORTAUDIO_DEV_NUM"にjulius起動時にログに出力されるデバイスの番号を設定することで設定できる。
このため、複数デバイスを持つパソコンの場合、会話を同時記録することも出来る。但し、デバイス設定を変えるとこの番号は変化するので、起動時に確認すること(既定のデバイスが1)。

Set the microphone that you use to the default recording device.

※If you start julius with handle,you can change the device with the environment value "PORTAUDIO_DEV_NUM" following the log when starting julius. But this number is not stable because of influenced by your setting(But the default recording device is always 1).

(5) Add-onをBlenderにインストールする
(5) Install add-on to Blender

Add-on(anim_julipsync.py)をインストール後、シェイプキーを設定したメッシュオブジェクトを選択するとUIが表示される。



When you select the mesh object with shapekeys after installing add-on (as anim_julipsync.py), UI will appear.
(6) 音声認識(julius)の設定

(6) Settings for Voice Recognize Engine as julius



juliusを外部モジュールとして実行、もしくは手動で起動したjuliusと接続するため、対象となるjuliusの設定を行う。
設定はメッシュオブジェクト毎。
パソコンに複数の録音デバイスがあり、juliusを手動で起動する場合、オブジェクト毎に異なるデバイスから入力しての同時処理が可能。

IP Address : 手動で起動する場合に必要。
Port : 必須。同じパソコンで複数同時起動する場合はこれを変える。
AutoRun julius : Blenderがjuliusを起動する。以下の項目を設定する必要あり。
julius Path : julius実行モジュールのパス。
jconf Path : julius設定ファイルのパス。
Encode : juliusの辞書データの文字コード。通常設定ファイルに添付されている。日本語はeuc-jp、英語は通常utf-8。


Set the configurations for julius to start julius as external module automatically or with handle.
It is for each mesh objects.
If your PC has multi-recoding device and if you start julius with handle,each object can be input from other devices at same time.

IP Address : Need when starting julius with handle.
Port : Must. If you use multi-devices,you have to use different numbers.
AutoRun julius : For starting julius by Blender. You have to input the following parameters.
julius path : The filepath where julius executable module is put on.
jconf path : The filepath where jconf file ( as julius configure file ) is put on.
Encode : The code of the dictionaries. That usually is noted in the each configuration data. it is euc-jp for Japanese data, it is usually utf-8 for English.

(6.5) ファイアウォール

(6.5) Firewall



本ツールはjuliusのサーバー機能を利用しているため、ローカルで実行してもネットワークからアクセスしていると見做されるため、ファイアウォールが反応する。
Windows標準のファイアウォールの場合、警告ダイアログが出るのでそこで許可をする。それ以外の場合、次のインバウンド(外部→内部)通信に許可を与える。

IPアドレス : from 127.0.0.1

※Linuxのufwを使っている場合は、
# ufw allow from 127.0.0.1

更に制限を加えたい場合
IPアドレス127.0.0.1からIPアドレス127.0.0.1ポート10500へのアクセスを許可とする



This use the server module of julius, then the firewall works even when it is worked on only your local PC.
With Windows(R) standard firewall, you can permit it on the dialog when it will work. With others, you have to allow the rule in here.

IP Address : from 127.0.0.1

※In ufw of Linux
# ufw allow from 127.0.0.1

If you want to give more limit
allow from 127.0.0.1 to 127.0.0.1 port 10500

(7) アニメーションの設定
(7) Setting for Animation





(1) Level
(2) Lower Threshold
(3) Upper Threshold
(4) Damp
(5) Phoneme symbols (6) Long voice use
same shape
with short voice

(7) Shapekeys
(8) Recog



(1) Level : 表示用、編集無効
(2) Lower Threshold : 最小ボリューム。これ以下は破棄
(3) Upper Threshold : ボリュームを(0.0 - 1.0)から(Lower Threshold - Upper Threshold)にスケーリングする。しかし、Blenderのシェイプキーの上限値は1.0なので、これによってボリュームが1.0を上回っても、実質的には1.0で固定されるのと同じ。
(4) Damp : 唇のバイブレーションを抑える。0.0でフリー、1.0で固定(開いたら閉じない)。
(5) Phoneme symbols : 音素記号。juliusの音声認識結果からリストを作成する。リストからシェイプキーに関連付く音素記号を選択する。
(6) Check : シェイプキーを短音と長音で同じものを使うかどうかの指定(例えばaとa:)。チェックONで共用。
(7) Shapekeys : 表示用。値は認識結果の(尤度)×(スケーリング済の音量)。
(8) Recog : 音声認識結果。bpy.data.objects[*].jlipsync .recogに格納。但し、ダウンロードするだけで使える辞書で、実用に耐えるものは現在のところjulius公式にある日本語辞書以外に無い。




(1) Level : For display,not editable
(2) Low Threshold : Low limit volume. Drop under this value.
(3) Upper Threshold : Scale volume from (0.0 to 1.0) to (Low Threshold to Upper Threshold). But Blender's shapekey value is under 1.0. So even If the value is over 1.0 with this adjusting,it is as same as 1.0.
(4) Damp : Hold the lip vibration. Free at 0.0, fixed at 1.0 ( Lip doesn't close after opened).
(5) Phoneme symbols : This list is made with the result of julius voice recognizer. You can select each symbols for relating to each shapekeys.
(6) Check :This is for whether long sound use same shapekey with short sound or not( For example,"a" and "a:").
(7) Shapekeys : For display. These values are (each plausibility from julius voice recognizer) × (Scaled level)
(8) Recog : The result of Speech to Text. But now there is no dictionary that can use with only downloaded,but Japanese dictionary from julius public website.
(8) アニメーションの記録
(8) Recording Animation

(99) 注意
(99) Alert

Linuxの場合、ディストリビューションによっては権限情報の無い媒体からコピーすると、デフォルトで実行形式ファイルに対して実行許可権限が付与されないことがあります。実行形式ファイルやconfigure等のシェルスクリプトに実行許可を与えて下さい。

Some linux distributions don't give the executable permits to files that are copied from the media without the permit informations. Please,give the executable permit to the executable module and the shell script like "configure".

ċ
anim_julipsync.py
(22k)
Khuu Yj,
2012/09/05 2:04
ċ
build on win32.zip
(2688k)
Khuu Yj,
2012/03/09 17:24
ċ
ejconf.zip
(1586k)
Khuu Yj,
2015/06/24 21:38
ċ
julius ubuntu32.tar.gz
(260k)
Khuu Yj,
2012/10/03 5:16
ċ
julius ubuntu64.zip
(925k)
Khuu Yj,
2012/02/28 6:02
ċ
julius win32.zip
(2702k)
Khuu Yj,
2012/02/28 6:00
ċ
julius-4.2.m.tar.gz
(1651k)
Khuu Yj,
2012/03/07 2:15
ċ
julius-4.2.m.zip
(2035k)
Khuu Yj,
2012/05/10 7:49
Comments