ChatGPT音声と3Dアバターの同期
PRO 0.36.3から利用できます。 ポータルでお使いのMac／Windowsに合う最新版ZIPを取得し、拡張とChatGPTのタブを再読み込みしてください。
概要
ChatGPT Webの音声をそのまま使い、MyMemAIvoiceChatの3Dアバターの口を動かします。同期中はアバターを大きく表示し、MyMem側のテキスト入力、電話、言語や読み上げ音声の操作を隠します。声や会話の言語はChatGPT側で変更します。
利用条件
音声会話を利用できるChatGPTのログイン状態と、MyMem PRO 0.36.3以降が必要です。音声開始ボタンのある通常のチャット画面を使います。Chromeのタブ音声取得は、対象タブで拡張アイコンを押して許可する必要があります。
使い方
- 最新版のMyMemをChromeへ読み込み、ChatGPTのタブも再読み込みします。
- 同期するChatGPTのタブを開き、ChromeツールバーのMyMemアイコンを一度押します。タブ音声を取得するためのChrome側の起動操作です。
- MyMemのサイドパネルで MyMemAIVoiceChat を開きます。
- ChatGPT側で音声会話を開始し、MyMemの ChatGPT音声と同期 を押します。
- 音声と同期中 を確認し、ChatGPTの返答に合わせて口が動くかを確認します。
音声会話が始まっていないときは ChatGPT音声の開始待ち と表示します。複数のChatGPTタブを開いている場合は、同期したいタブを表示してサイドパネルから接続してください。
表示と操作
PRO 0.36.3の実ビルドと架空データで撮影した幅320pxの表示例です。
- 初期表示は上半身です。全身表示／上半身表示 で切り替えます。
- 動作 から挨拶・待機・体の動作停止を選べます。体の動作を止めても瞬きや口の同期は続きます。
- 同期停止 で通常画面へ戻ります。ChatGPT側の音声会話はそのまま続きます。
切り替え前の入力文、言語、音声、設定欄の開閉状態を保持します。MyMem側で通話や返答を実行中に同期へ切り替えた場合、その処理を止めて音声の重複を防ぎます。通常画面へ戻ってから、必要に応じてMyMem側の通話を再開します。
注意点
画面の状態で同期 と表示された場合、タブ音声を取得できていません。口の動きは、画面が発話状態を公開している場合に限る推定です。音声と同期中 と区別します。
ChatGPTのタブでChromeのMyMemアイコンを押し直し、MyMemの 再接続 を試します。タブを閉じた場合や拡張を更新した場合は、ChatGPTのタブを再読み込みしてください。エラー中もアバターと 同期停止 を使い、通常画面へ戻れます。
確認する項目
- Chromeのサイドパネルを最小幅にし、頭が切れず、大きく表示されるか。
- 同期中にテキスト入力・MyMemの電話や音声設定が隠れるか。
- ChatGPTの発話で口が動き、無音・発話終了・割り込みで閉じるか。
- MyMem側の読み上げ音声が重複しないか。
- 同期停止後に入力文・設定が戻り、ChatGPTの会話は続くか。
実機でのテキスト取得・音量解析・表示遅延の確認結果は、確認記録で区別します。画面変更やChromeの権限条件により利用できる範囲が変わります。
データと関連設定
同期は発話状態・文字数と時刻・音量を一時的に扱います。音声や会話本文を同期機能のために保存したり、MyMemで返答音声を作り直したりしません。OpenAI Realtime APIも使いません。
取得対象は選択したChatGPTタブの音声です。映像取得や録画は行いません。同じタブの開始・終了音などにも口が反応する場合があります。
通常の会話記録や記憶保存は、それぞれの既存設定に従います。同期のON／OFFは、それらの設定を変更しません。