導入
ほとんどのチームは苦労しない mcpトークンのオーバーヘッド 1 つのプロンプトが長すぎるためです。ワークフローがコンテキストの再読み込み、予算なしでのツールの呼び出し、失敗したステップの再試行、高価なモデルへのルーチン作業の送信を繰り返しているため、彼らは苦戦しています。
それが理由です mcpトークンのオーバーヘッド やみくもに短縮するのではなく、老廃物の除去から始める必要があります。目標は単純です。答えを改善する場合にはトークンを使用し、システムがすでに持っている情報を繰り返す、再フォーマットする、または再処理する場合にのみトークンの使用を停止します。
この記事では、 mcpトークンのオーバーヘッド が主なキーワードです。 MCP および CLI のトークン効率、プロンプト キャッシュ、コンテキスト圧縮、モデル ルーティングなどの関連アイデアがサポート トピックです。
トークンバジェットを使用して MCP トークンのオーバーヘッドを開始する
プロンプトが短いと、エージェントのコストが安くなると同時に、品質が低下する可能性があります。プロンプトで、出力を正しく保つための制約、例、またはソース資料が失われると、エージェントは再試行したり、説明を求めたり、担当者が修正する必要がある低品質の作業を作成したりする可能性があります。
代わりに、完了したタスクごとに予算を設定します。
| ワークフローステップ | 何を追跡するか | なぜそれが重要なのか |
|---|---|---|
| Planning | Input tokens, tool plan length | Bloated plans often repeat task instructions |
| Retrieval or tool use | Tool-call count, returned text size | Raw outputs can flood the next model call |
| 推論 | Model used, retries, output tokens | 日常的なステップの Premium models are expensive when used |
| 最終的な答え | Edit rate, acceptance rate | Cheap output は人間が書き換えると安くない |
プロンプト キャッシュを使用して MCP トークンのオーバーヘッドを削減する
プロンプトのキャッシュは、プロンプトの繰り返し部分が安定している場合にのみ役立ちます。システム プロンプト、サンプル、スキーマ、またはツールの命令が呼び出しごとにわずかに変更されると、キャッシュ ヒット率が低下し、節約できなくなります。
MCP トークン オーバーヘッド キャッシュ候補
- めったに変更されないシステム命令
- 出力スキーマと検証ルール
- 多くの同様のタスクで使用される少数のショットの例
- 複数の実行にわたって再利用されるツールの説明
キャッシュヒットを壊すもの
- ユーザー固有のコンテキストが最初のプロンプト ブロックに混合される
- 安定した命令の前に配置されるタイムスタンプ、ランダム ID、または動的メタデータ
- 再利用可能なプロンプトプレフィックスの前に挿入された取得ドキュメント
- 実行ごとに変更される長いツール出力
高価な MCP トークンのオーバーヘッドが発生する前にコンテキストを圧縮する
コンテキストの圧縮とは、すべてを曖昧なメモに要約することを意味するものではありません。これは、次の決定に必要なフィールドを保存し、残りを削除することを意味します。
MCP トークン オーバーヘッド コンテキスト圧縮チェックリスト
- モデルは次にどのような決定を下すのでしょうか?
- その決定にはどのような事実が必要ですか?
- どの部分が証拠で、どの部分がノイズでしょうか?
- 正確に引用しておかなければならないものは何ですか?
- 構造化フィールドに変換できるものは何ですか?
例: エージェントが 40 ページのポリシー文書をレビューする場合、文書全体を下流のすべてのステップに渡さないでください。まず、条項、日付、義務、例外、および出典参照を抽出します。次に、コンパクトな構造を、最終的な推論を実行するモデルに送信します。
リスクごとにモデルをルーティングして MCP トークンのオーバーヘッドを削減する
モデル ルーティングはコストを削減するための最もクリーンな方法の 1 つですが、これはルーティング ルールが固有である場合に限られます。 「できるだけ安いモデルを使う」というのはルールではありません。それは希望です。
タスクのリスク別のルーティング ルール
| タスクの種類 | モデルの選択 | 理由 |
|---|---|---|
| Classify a short input into known labels | Cheaper model | Low ambiguity, easy validation |
| Convert raw text into a fixed schema | Cheaper or mid-tier model | Deterministic output with validation |
| Decide between conflicting evidence | Stronger model | Judgment matters more than token savings |
| Write final executive recommendation | Stronger model | Mistakes are visible and costly |
| Repair invalid JSON | Cheaper model | Mechanical task, retry cost が少なくなっています |
MCP ワークフローに停止条件を設定して MCP トークンのオーバーヘッドを制御する
MCP およびツールを多用するエージェントのワークフローでは、すべてのツールの説明、呼び出し結果、中間観察がモデル コンテキストの一部になる可能性があるため、トークンのオーバーヘッドが発生する可能性があります。このオーバーヘッドは、次の決定を変更する場合にのみ役立ちます。
エージェント ワークフローの MCP トークン オーバーヘッド制御
- タスクごとのツール呼び出しの最大数
- ツール結果ごとに返される最大文字数
- 停止する前に見つける必要がある必須フィールド
- 検索を終了するための信頼しきい値
- エージェントが十分な証拠を見つけられない場合のフォールバック パス
MCP トークンのオーバーヘッドが壊れる前に入力をクリーンにする
トークン制御は、モデルが受け取る入力の品質にも依存します。未処理の Web ページ、長いログ、重複レコード、ナビゲーション テキスト、フィルタされていないツール出力はすべて、コンテキスト ウィンドウにノイズを押し込む可能性があります。
モデル呼び出し前の入力クリーンアップ
- 次の決定に必要なフィールドを保持します。
- 定型文、繰り返されるナビゲーション、空のフィールド、重複したテキストを削除します。
- ソース URL、タイムスタンプ、ID、および正確な引用符が信頼に影響を与える場合は、それらを保存します。
- 次のステップで元の文言が必要ない場合にのみ、概要を渡します。
MCP トークンのオーバーヘッド起動前チェックリスト
- 入力トークン、出力トークン、ツール呼び出し、再試行、モデルの選択、および最終タスクのステータスをログに記録します。
- API 呼び出しごとのコストだけでなく、成功したタスクごとのコストも計算します。
- 安定した命令、スキーマ、およびサンプルをキャッシュに適したプレフィックスに移動します。
- 安定したプレフィックスの後に動的なユーザー コンテキストを保持します。
- コストのかかる推論ステップの前に、長い入力をタスク固有の構造に圧縮します。
- 低リスクのタスクをより安価なモデルにルーティングし、変更後の再試行率を監視します。
- MCP またはツールを多用するワークフローでは、ツール呼び出し数と返されるテキスト サイズを制限します。
- トークン削減の前後に出力品質の回帰テストを追加します。
MCP トークンのオーバーヘッドが高くなるような間違いを避ける
ワークフローを測定する前にプロンプトを最適化します。 これにより、再試行やツール出力の隠れたコストを無視しながら、表示されるプロンプトにいくつかのトークンが節約されることがよくあります。
Compressing away evidence. 概要は便利ですが、一部のワークフローでは正確な見積もり、ID、価格、日付、または引用が必要です。これらのフィールドは明示的に保存してください。
Routing everything to a small model. 安価なモデルは狭いステップに最適です。判断ミスにより再試行が発生した場合でも、自動的に安くなるわけではありません。
FAQ: 適切な MCP トークン オーバーヘッド戦略の選択
最初に測定するものは何ですか? 成功したタスクごとのコストを測定します。再試行、ツール呼び出し、失敗した出力が含まれます。通話ごとのコストが隠れすぎます。
プロンプト キャッシュをいつ使用する必要がありますか? 同じ大きな命令ブロック、スキーマ、またはサンプル セットが多くの同様のリクエストで再利用される場合に使用します。動的コンテキストを安定したプレフィックスの後に置きます。
安価なモデルが実際に安いかどうかを確認するにはどうすればよいですか? 再試行および人間による編集後の合計コストを比較します。故障率が高い安価なモデルは損をする可能性があります。
結論: MCP トークンのオーバーヘッドはワークフロー設計です
mcpトークンのオーバーヘッド ワークフロー設計として扱うと最も効果的です。タスク全体を測定し、安定したものをキャッシュし、コストのかかる手順の前にコンテキストを圧縮し、リスクごとにモデルをルーティングし、ツールを多用するワークフローに制限を設けます。
すべてのプロンプトから単語を削除し始める前に、これを行ってください。通常、最大の節約は、適切な命令を少し短くすることではなく、繰り返しの作業とノイズの多い入力を取り除くことによってもたらされます。