AIAConversationでは、以下の4つのフェーズが繰り返され、会話が進められます
第1フェーズ: マイクに入った音声が、音声認識に掛けられ、認識結果が図中①メモ帳欄に表示される
第2フェーズ: ①メモ帳欄に表示された結果を編集し、話したい内容の文章に修正する
第3フェーズ: 図中②送信ボタンを押して、①メモ帳欄の文章をAIであるGeminiのサーバへ送信する
第4フェーズ: 送信した文章、およびGeminiからの返答が図中③会話履歴に表示され、返答がテキストリーダーで読み上げられる
操作説明図
①メモ帳欄
②送信ボタン
③会話履歴
④マイクボタン
⑤言語ボタン
⑥消去ボタン
⑦オートスイッチ
⑧状態表示窓
⑨翻訳スイッチ
⑩設定ボタン
第1フェーズ:マイクに入った音声が、音声認識に掛けられ、認識結果が図中①メモ帳欄に表示される
④マイクボタンをオフにすると、音声が①のメモ帳欄に記載されるのを防ぐ事ができます。隣の人と話す場合等、アプリとの会話以外の声を出す必要がある場合はオフにして下さい。(ただしオフの状態でも、後述する音声制御命令は認識、および実行されます)
また、本アプリの音声認識には、英語専門の認識と日本語専門の認識の2種類があります。日本人があまりよろしくない発音で英語を話した場合、音声認識はそれが日本語なのか英語なのかすら迷い、まず正しく認識してくれません。2つを切り分ける事により、強制的に英語を話していると認識させ、ある程度近い発音の英語を選んで表示するようになります。この英語と日本語の認識の切り替えは、⑤言語ボタンを押すことによって切り替えます。
第2フェーズ:①メモ帳欄に表示された結果を編集し、話したい内容の文章に修正する
①メモ帳欄に表示される音声認識の結果は、必ずしも望んだ通りにはなりません。発音がよろしくない場合には、別の単語が表示されたり、日本語であっても同音異義語の違う漢字が表示されたりします。その場合は、⑥消去ボタンを押して全てを消し、第1フェーズからやり直して入力したり、あるいは普通のメモ帳と同じくキーボードから入力したり、マウスでコピー&ペーストしたりして、望んでいた文章に修正することができます。
英語の発音が苦手で正しい認識がされない場合は、ここで何度も発音の練習をして下さい。うまく認識できるようになってきたら、⑥消去ボタンを押して文章の会話にチャレンジしてください。OSの音声認識で認識できるなら、実際に外人と会話してもほぼ通じる事ができると思います。残念ながら何度繰り返しても認識されない場合は、あきらめてコピペやキーボード入力しましょう。
また、本アプリでは前もってAIのGeminiに会話の模擬である事が伝えてあります。ですので、句読点や?等の記載をしなくても、文章内容や文節から判断してきちんと返答してくれます。2つ以上の文章を話す場合であっても、改行する必要はありません。普通の会話をするように話したままで結構です。
第3フェーズ:図中②送信ボタンを押して、①メモ帳欄の文章をAIであるGeminiのサーバへ送信する
①メモ帳欄に正しく話したい内容が記載できたら、②送信ボタンを押してその内容をGeminiに送信することによって、会話相手に返事をします。
本アプリでは、より実際の会話をしている雰囲気を模倣するため、自動的に送信するオートモードが存在します。オートモード時は、②送信ボタンを押さなくても、一定時間マイク入力が無ければ送信されます。オートモードをオンにするには、⑦オートスイッチをオンにします。
オートモード時には、マイク入力の音声が途切れると⑧状態表示窓に、あと何秒で送信されるかカウント表示されます。この表示が0になる前に、さらに音声を入力すると、カウントはリセットされます。あるいは音声制御命令の”STOP(ストップ)”を発声するとカウントが停止します。
第4フェーズ:送信した文章、およびGeminiからの返答が図中③会話履歴に表示され、返答がテキストリーダーで読み上げられる
①メモ帳欄の文章を送信すると、AIのGeminiが内容を理解し、それに対する返答が送られてきます。これらのやりとりは③会話履歴に表示されます。また、返答はOSのテキストリーダー機能で自動的に読み上げられます。
③会話履歴では、⑨翻訳スイッチをオンにする事により、英語講師達の返信の翻訳文を表示させる事も可能です。判らない英単語がある場合や意味が理解できない場合は、翻訳文をみて下さい。
返答の読み上げ中は、マイク入力は完全オフの状態になります(読み上げ音をマイクが拾ってしまう事を防ぐためで、音声制御命令も受け付けません)。読み上げには終了するまで時間がかかりますが、読み上げ中に④マイクボタンを押すことにより、読み上げを強制終了させてマイク入力状態にする事も可能です。
また、⑩設定ボタンによる設定で、音声読み上げの速度や声の高さを変更する事ができます。英会話が早すぎて聞き取れない場合は速度を遅くしてください。設定では、オートモードの待ち時間や、③会話履歴の文字の大きさを設定する事が可能です。
音声制御命令
本アプリでは、上で説明してきたボタンやスイッチ類を、音声で操作する事が可能です。各ボタンやスイッチに記載されている” ”(ダブルクオーテーション)で囲まれた語句のみを音声認識させることにより、そのボタンやスイッチが押されます。
音声制御命令をマイクで認識させた場合、その語句は①メモ帳欄に記載されません。対応する操作が行われます。この音声制御命令は、あくまでも当該語句のみを認識させた場合に行われるもので、その語句を含む文章や、語句に余計な言葉をつけた場合は、命令は実行されずに普通の文章入力として①メモ帳欄に記載されます。
音声制御命令には、各ボタンやスイッチに記載されている” ”の他、以下のものがあります。
”undo”・”アンドゥ"・”元に戻す” : ①メモ帳欄の編集時、一つ前の状態に戻す
”redo"・”リドゥ”・”やり直し” : ①メモ帳欄の編集時、undo前の状態に戻す
”wait"・”stop”・”待て”・”ストップ” : オートモード時、カウントを一時的に停止する
”quit the application”・”アプリを終了して” : アプリを終了する