試験中・開発者向け機能
概要
0.35.11には、試験中のAI接続、開発者向け診断、見本データを使った画面が含まれます。利用できる項目と完成済みの機能を混同しないための一覧です。
利用条件
開発者モードや機能別の追加準備が必要な場合があります。表示されない項目を、一般利用の必須セットアップとして有効にする必要はありません。
使い方
| 機能 | 現在の位置付け・確認方法 |
|---|---|
| ChatGPT Dots | Context Packを送る連携は検証中。通常ChatGPTと異なるUI・制約がある |
| Hack API | 対応サービスのrequest/responseや用途を確認する研究画面 |
| Provider判定 Dry Run・Compare | 判定だけを100〜500件比較。検索や回答生成は行わない |
| 実データDry Run | 開発者モードで、回答生成前までの判定・取得量を検証 |
| Prompt API / Gemini Nano | ブラウザの対応状態に依存する開発者向け接続 |
| mymem Local | ブラウザ内モデル。回答品質に検証中の範囲がある |
| Local TTS Labの追加エンジン・音声複製 | エンジン別の実験・追加サーバー・規約確認が必要 |
| Creative Sheet Mode | Character Studioの試験的な生成モード |
| サバ缶の環境構築 | 開発中。Developer限定のプラン割当案。接続設定・VM・ゲスト・本番反映の手順を公開 |
| Gitソース・チケットの見本画面 | モック表示設定で出る画面。一般機能として実GitやBacklogとの同期を保証しない |
| 独立した見本検索画面 | サンプル結果を使う範囲がある。実データ検索にはメモリ・情報源・Timeline等の各一覧を使用 |
DotsとHack API
DotsではMyMemが選んだContextを送信本文へ含める経路があります。表示上の省略は秘密性を保証しません。全MyMemデータをDotが自由に巡回する接続ではありません。
Hack APIのDots観測は、観測開始 → 通常画面で操作 → 結果を更新 → 観測終了の順で使います。観測ボタン自体は質問を送信しません。記録は時間・件数制限のある要約で、AIが参考情報を回答に利用したかは別に確認します。
Provider判定のDry RunとCompare
開発者モードで Hack API → 参照先判定の検証 → Provider判定 Dry Run・Compareを開きます。0.35.11から、一般のAPI設定には比較・Dry Runを表示しません。Jev / OpenAI / Compareを選択できます。ここでは判定APIにテスト文を送り、保存済み記憶・資料の検索、回答生成、プロンプト注入は行いません。通常の実データDry Runとは別です。
- 両Providerの接続を用意し、100件のテスト文を準備します。
- 文ごとに期待する5カテゴリを確認し、「この文の期待ラベルを人が確認済み」を選びます。生成したラベルは候補です。未確認のラベルを精度集計には使いません。
- **100件を判定（API利用あり）**を押します。中止すると、実行中の1文の処理後に停止します。
- 質問ごとのuse/skip、Jev confidence、OpenAI probability、一致、人手ラベル、時間、推定費用を確認します。
- 両Providerの100件が成功した後、必要なら500件へ拡張します。
JSONの読込み・保存にも対応します。ラベル用JSONを保存して形式を確認でき、最大500件です。テスト文にはAPIキー・token・個人情報を含めないでください。
100件が成功しても100件正解とは限りません。人手確認済みの期待ラベルが0件なら、精度の勝者は判断できません。参照先を多く選ぶことも精度の高さを保証しません。
人手確認済みの成功分について、カテゴリ別Precision / Recall / F1、Macro F1、Exact Match、FPR / FNRを表示します。平均 / P50 / P95時間、tokens、推定USDも集計します。失敗はskip予測へ置き換えず、失敗件数・usage不明・費用未算定として表示します。
100件以上の人手確認済み比較、OpenAI Macro F1がJev以上、どのカテゴリも見逃しが増えない、未完了・失敗なし、設定した許容時間・費用内、という条件を満たすと置き換え候補を表示します。人がProviderを選び直すまで設定は変わりません。Jevの価格またはusageが不明な場合は費用を0円としません。OpenAI費用も短文Standardの公開価格に基づく推定で、請求確認とは異なります。
0.35.20の実ビルド・架空テスト文です。この画像は実APIによる100件の成功を示しません。
OpenAI OAuth・公開APIの検証（macOS）
開発者向けの「Hack API」で「OpenAI OAuth・公開API」を選び、「OAuthでResponses / Decisionsを検証」を押します。対応版のChatGPT Web認証用補助アプリと、MyMemで保存した認証情報が必要です。macOSキーチェーンのアクセス許可が求められた場合は、内容を確認してください。
検証には固定のテスト文字列だけを使い、APIキーや保存済みの記憶・会話を送信しません。結果にはHTTP状態、認証scopeなどの秘密情報を除いた内容を表示します。認証情報を読み取れなかった場合はHTTP状態がnullになります。HTTP 200だけでは成功とせず、Responsesの完了イベントとDecisionsの選択結果を確認します。
この操作は調査用です。自動ログインやトークンの更新、通常チャット・参照先判定の接続変更は行いません。成功した場合の利用枠の消費や課金方式は別途確認が必要です。補助アプリを更新していない場合は接続エラーになるため、Web認証の準備を確認してください。
2026年10月7日の実測では、Keychain読み取り許可後に、同じ既存OAuth認証でResponsesはHTTP 401・不足権限api.responses.write、DecisionsはHTTP 401・APIキーが必要とのエラーを返しました。現行の認証情報では直接利用できない結果です。APIキーは使用していません。別のSIWC用権限での利用可否、プランの消費や課金方式は未確認です。この結果だけで「DecisionsはAPIキーでしか利用できない」とは判断していません。
SIWC Test：新しいChatGPT認証で公開APIを検証する（macOS）
Hack APIの「SIWC Test」は、通常のCodex接続から独立した調査機能です。既存のChatGPT認証を変更せず、新しいSign in with ChatGPTの登録を行います。検証専用補助アプリの準備が必要で、通常の補助アプリとは別の保存先・接続先を使います。
- 検証用補助アプリを準備し、Hack API → SIWC Testを開きます。
- **Continue with ChatGPT（SIWC Test）**を押し、開いたOpenAIの画面で本人がログイン・同意します。
- 登録client ID、実際に付与されたscope、有効期限などを確認します。tokenそのものは表示しません。
- Responses → Decisionsを検証を押します。利用可能モデルを取得し、Responsesの正常完了後だけ、同じOAuth認証でDecisionsを検証します。
- HTTP状態・完了イベント・選択結果を確認します。ログインだけ、HTTP 200だけでは利用可能と判断しません。
0.35.20の実ビルドを、認証前の架空の状態で撮影しています。この画像は実APIの成功を示すものではありません。
固定テスト文字列だけを使用し、APIキー・保存済みの会話・記憶を送信しません。検証によって通常の回答AIやJevの接続を切り替えることもありません。ChatGPTプランの利用枠・Credits・課金の確認は別に必要です。認証は10分でタイムアウトします。中断する場合はログインを中止を押してください。
2026年10月7日の実測では、新規SIWCで必要なscopeの付与を確認し、公開ResponsesはHTTP 200・正常完了・固定文字列の回答に成功しました。同じ認証によるDecisionsはHTTP 401・no_matching_rule・Unauthorizedでした。今回のSIWCでDecisionsを使えないことは確認済みですが、APIキー必須と明示された結果ではなく、許可条件の追加確認が必要です。APIキーは使用していません。
この機能は開発・研究用です。公開されたSIWCフローはOSS・ローカルアプリ向けで、商用のMyMem ProやリモートのPortalへの正式採用可否を保証しません。OpenAI公式の提供対象と申請窓口の確認が必要です。
Dry Run
開発者モードの「Hack API → 参照先判定の検証 → 参照判定 Dry Run」で、プロジェクトと入力を選び「回答せず検証」を実行します。検索先、件数、Context文字数などを確認します。通常送信とは検索方式が異なるため、順位・件数の完全一致を保証しません。自動判定が有効なら選択Providerへの判定通信を行います。
注意点
検証レポートと精度評価JSONは保存内容が異なります。評価JSONにはテスト入力全文が入るため、出力先と共有先を確認してください。
未提供のライセンス購入・Device Activation・プラン制御の画面を、実装済みの操作として案内していません。現在の確認範囲はアカウント・利用期限を参照してください。