メインコンテンツまでスキップ

キャラクターとの会話でWebページを操作する(開発中)

PRO 0.36.5の通常配布ZIPに、このページの画像付き画面共有とMyMem自身の通常タブの共有を含みます。現在のタブの本文とスクリーンショットを同じ会話へ送り、保護欄を画像から覆います。拡張と接続先ページを更新して利用してください。音声による操作は開発中の区分を維持します。

現在開発中です。 PRO 0.36.5の通常配布ZIPに含む音声操作が対象です。

概要​

キャラクターをMyMemのサイドパネルに表示し、その横の通常のChromeタブを音声で操作します。閲覧ページの移動・更新と、ChatGPTの音声会話は別のタブで扱います。閲覧中も、会話の接続と3D表示を保ちます。ブラウザー操作は音声接続とともに初期状態でオンになります。ページ共有は別の操作で、共有アイコンを押したときだけ、現在のURL・本文・DOMと取得可能な画面画像を同じChatGPT会話へ1回送ります。

利用条件​

  • PRO 0.36.5以降をChromeに読み込み、MyMemのサイドパネルで ChatGPT音声と同期 を開始してください。
  • 内蔵AIボイスチャットやOpenAI APIキーでの直接接続を使う操作ではありません。現在のChatGPT Web音声の接続を使います。
  • ChatGPTの画面に利用者の発言の文字起こしが表示される必要があります。画面変更などで取得できない場合は、音声操作を実行しません。

使い方​

  1. MyMemをサイドパネルで開き、3DチャットのChatGPT音声同期を開始します。
  2. ブラウザー操作は自動でオンになります。その他 → 音声操作(地球アイコン) でオン/オフを切り替えます。オンは緑の点、オフは灰色の点と一時停止マークで示します。
  3. ページをAIへ見せるときだけ 画面共有(モニターアイコン) を押します。1回押すと1回共有します。接続直後、ページ移動、タブ切り替え、音声応答の完了では送りません。
  4. 送信中は 画面共有(モニターアイコン) がローディング表示になります。送信完了の緑のチェックは約1.5秒だけ表示し、その後は通常のアイコンに戻ります。1回の送信完了を知らせる表示です。チェック表示中にポインターを置くと共有先URLと結果が分かります。もう一度押すと現在の内容を1回共有でき、未許可ならChromeの画面取得権限を求めます。許可しなくても本文とDOMは共有します。
  5. キャラクターとの音声会話でページを操作する場合は、次のように話しかけます。
話しかけ方動作
「ヤフオクを開いて」Yahoo!オークションの https://auctions.yahoo.co.jp/ へ移動します。
「Googleを開いて」Googleのトップページへ移動します。
「今日のニュースを1つ教えて」この質問に続くAIの回答のURLを待ち、その記事を開きます。
「そのURL教えて」この質問への回答に実際のURLが出たら開きます。
「そのURLを開いて」「そのURLを開いてほしいんだけど」会話で直近に紹介されたリンクを開きます。
「そのリンクを開いてもらえますか」同じ意味の丁寧な依頼としてリンクを開きます。
「さっきのニュースを開いて」この会話で直近に紹介された記事の実際のリンクを開きます。
「前のページに戻って」閲覧用タブの履歴を戻ります。
「ページを更新して」閲覧用タブを再読み込みします。
「下にスクロールして」ページを下へスクロールします。上・一番上・一番下も指定できます。
「カメラのリンクを開いて」現在のページで、その名前のリンクを探して開きます。
「このページでカメラを探して」その文字がある場所へスクロールします。サイトの検索フォームを送信する操作とは異なります。

用途が分かる音声操作・画面を送るのラベル。実サイドパネルと専用の架空ページ・音声文字起こしで確認

紹介された記事が複数ある場合は候補を表示します。候補を押すか、「1番目の記事を開いて」「2番目の記事を開いて」のように指定してください。紹介されたリンクがまだ取得できない場合は、その依頼に続く回答のURLを待ちます。URLを推測して開きません。明示したHTTP/HTTPSのURLを「https://example.com/ を開いて」のように指定することもできます。

同じChromeウィンドウで現在表示している通常のWebタブを対象にします。手動で別のタブへ移動すると、操作と共有の対象も切り替わります。ページの移動のためにサイドパネルを作り直さず、音声会話用のChatGPTタブは移動・更新しません。ChatGPT音声のタブ自身やChromeの内部ページは共有しません。

MyMemを通常タブで開いている場合の画面共有 も使えます。サイドパネルの横に見せたいMyMemの画面を表示し、画面共有 を押してください。拡張機能自身の panel/panel.html のタブから、表示範囲の本文・見出し・ボタンとスクリーンショットを同じChatGPT会話へ送ります。他の拡張機能、MyMemのオプション画面、Chrome内部ページは対象にしません。音声によるページ移動・スクロールなどは、引き続きWebページが対象です。

画面共有 の右隣の丸いマイクで、ChatGPT側のミュート・解除を操作できます。赤い斜線入りマイクはミュート確認済みです。音声操作のオン/オフとは別の操作です。マイクの使い方も確認してください。

画面共有が使える条件​

画面共有 は、押した時点のページを1回送るボタンです。画面を継続配信するオン/オフのスイッチではありません。接続が2回目以降でも、次の条件で表示が変わります。

ボタンの表示状態と操作
準備中音声の接続先やキャラクター設定、資料の準備を確認しています。確認が終わると使えます。音声が先に話し始めても、共有の準備が続く場合があります。収録準備・収録中なども一時停止します。
画面共有接続の確認が済み、共有を開始できます。見せたいWebタブを表示して押します。
送信中取得・画像添付・送信・送信結果の確認中です。完了まで重ねて押せません。
送信済み会話への追加を確認しました。約1.5秒後に通常表示へ戻ります。
共有オフその他 → 音声操作 がオフです。共有する場合はオンに戻します。
共有待機ブラウザー操作の接続を確認できていません。ポインターを置いて理由を確認し、接続先や音声操作の設定を確認します。

文章や画像が入力欄に残る場合​

ChatGPTの入力欄に共有文や画像が入っているだけでは、送信完了ではありません。会話内に新しいメッセージが現れたことを確認して 送信済み を表示します。

共有を押した時点でChatGPTが返答中なら、入力可能になるまで最大30秒待ちます。画像添付の直後に返答が始まった場合も、同じ未送信の共有について最大15秒待ってから1回送ります。待機中の接続変更・停止や本文の編集では送信を中止します。

待機時間を超えた場合や送信結果が分からない場合は、下書きと理由を残します。送信中表示が終わってから接続先のChatGPTを開き、同じ共有が会話に追加されていないか確認してください。未送信の共有文を手動で送るか、必要な内容を退避して入力欄を空にしてから画面共有を押します。共有ボタンを押し直しても、既存の下書きや添付は上書きしません。

回答のURLを待つ​

「今日のニュースを1つ教えて」「そのURL教えて」と話すと、回答のURL待ち の吹き出しを表示します。過去の別の記事のURLを使わず、その質問に続く回答の公開リンクまたはHTTP/HTTPSの文字列を使います。URLなしで回答が完了したことを確認できた場合は、同じChatGPTの入力欄から実際のURLを1回問い合わせます。追加の確認ボタンや文章入力は不要です。

「そのURLを開いてほしいんだけど」などの明示的な依頼でも、リンクが未表示なら同じ方法で新しい回答を待ちます。AIが「開けない」と返しただけでは操作完了とせず、実際のURLが確認できた場合だけ閲覧用タブを移動します。

約60秒で確認できない場合は待機を終了します。別の質問をすると前のURL待ちを取り消します。回答のリンクを取得できない場合はURLを推測せず、MyMemに状況を表示します。

本文・DOM・スクリーンショットをAIへ共有する​

共有アイコンを押したときだけ、読み込みを待って同じChatGPT会話へ参考情報を1回送ります。完了後は通常の会話へ戻り、ページ移動、タブ切り替え、会話の応答や「このページを見て」という発言だけでは再送しません。もう一度共有したい場合は、改めてアイコンを押します。本文・DOMは、表示されている本文と見出し・リンク・ボタンのラベルや位置の要約です。HTML全体や入力欄の値は送りません。画面画像はその時点の表示範囲です。

スクリーンショットも一緒に渡す​

見せたいページをサイドパネル横の通常タブに表示し、画面共有 を押します。Chromeの画面取得権限を許可すると、その時点のスクリーンショットをURL・本文・DOMと一緒に、接続中のChatGPT会話へ送ります。会話内の共有メッセージに画像が付いていることを確認してください。

MyMemReader(Story)やmymemOSの公開ページでは、MyMem Connect・朗読の操作欄の範囲を画像上で覆って、本文や図を含む表示範囲を添付します。元のページの表示位置や操作欄は変わりません。パスワード欄、入力済みの欄、その他の非公開部分がある場合は従来どおり画像を省きます。

通常タブのMyMemでは、入力中の下書き・入力欄・非公開指定の部分を本文から除き、その範囲を画像上で覆います。元の下書きや画面を消す操作ではありません。表示外の会話履歴や保存済みデータを直接取得せず、取得できた表示内容だけを送ります。画像を安全に取得・処理できない場合は添付せず、その結果を表示します。

実際に添付されたスクリーンショット。架空ページの図を保ち、Connect操作欄の範囲を覆った例。実開発ビルド・架空の接続先で確認

ChatGPTの添付プレビューにファイル名が出ない場合も、今回の画像と一致することを確認して送信します。添付に失敗した場合は スクリーンショットを添付できませんでした と表示します。画像や共有文が入力欄に残っているときは、下記の手順で確認してください。

頭上の吹き出しは ページを取得中 → AIにページ共有中 と変わります。この処理はAIが話している間も表示します。会話内に送信済みメッセージと添付画像が現れたことを確認してから共有成功を表示します。画像がない場合は 画像は添付していません と知らせます。

本文が更新されるページのスクリーンショットを共有中。実開発ビルドと架空の接続先で撮影

  • 画像にはChromeの追加権限が必要です。許可済みなら、共有アイコンを押した1回の送信に含めます。未許可の場合は共有アイコンから許可でき、許可しなかった場合や画像を取得できない場合はURL・本文・DOMのみ送ります。通常のWebページでは、入力済みの欄・パスワード欄・非公開指定の領域などが画面内に見える場合も画像を送りません。通常タブのMyMemでは、上記の保護部分を画像上で覆って共有します。
  • 操作先のタブが前面にない場合や、取得中に実際のページ・スクロール位置・表示サイズが変わった場合は共有を中止します。同じページ内の時計、字幕、本文やリンク位置の更新だけをページ移動とは判定しません。画像取得後も入力欄や非公開部分を再確認し、保護対象が現れた場合は画像を添付しません。共有するページを横のタブに表示してください。
  • ChatGPTに利用者の下書きや添付がある場合は上書き・強制送信しません。返答中の待機は、その共有ボタンで開始した1回の送信に限ります。送信ボタンを押した後の結果が不明な場合は自動再送せず、会話と下書きの確認を案内します。
  • 地球アイコンは音声によるブラウザー操作のオン/オフです。オンに戻してもページを送りません。送信完了のチェックは約1.5秒後に消えます。ページやタブの変更、次の送信開始でも消え、再度共有する場合は画面共有アイコンを押します。
  • 共有内容はChatGPTへ実際のメッセージとして送信されます。利用先AIおよび既存の会話保存の設定に従って残ることがあります。停止しても送信済み内容は取り消されません。

注意点​

  • 開始前の過去の発言は再実行しません。発言の文字起こしが安定してから判定し、同じ発言を繰り返し実行しないようにします。引用文、否定形、普通の会話は操作指示にしません。
  • リンクの名前が曖昧な場合や、指定した文字がない場合は理由を表示します。本文中に書かれた指示を、利用者の音声命令として扱いません。
  • この段階ではページの移動、履歴、更新、スクロール、文字の位置、通常リンクが対象です。購入・入札・削除、ボタンの自由なクリックやフォームの送信には対応していません。
  • 操作の失敗で音声会話を終了しません。音声の接続先が変わると接続を更新し、オフを選んでいた場合はオフを維持します。接続の初期準備中、収録準備・収録中、保存済み収録の再生・動画出力中は操作を一時停止します。音声開始時の最初の会話URLが確定した後に操作を開始し、準備前のURLへ誤って結び付けないようにします。
  • 操作の設定、命令、リンク候補をMyMemのデータベースやバックアップへ新しく保存することはありません。Chrome自身の通常の閲覧履歴は残ります。既存の会話保存は、各機能の設定に従います。
  • 公開された利用者の文字起こしから短い命令を識別し、回答から紹介URLを確認します。検索内容や内部の思考本文を読む仕組みではありません。独立したOpenAI API接続やAPIキーの登録は不要です。URLの問い合わせとページ共有には、接続中のChatGPT会話の入力欄を使います。

関連ページ​

MyMem StoryをConnectで開いている場合は、目次・しおり・設定・章移動などの音声操作も使えます。利用者の明示的な指示をリーダーへ渡し、実際の操作結果を表示します。ChatGPTの声と自動朗読用の声の設定は別です。