コンテキストとトークンとは？違いを実験で理解する

コンテキストとトークンは、AIとの会話でよく出てくる大事な言葉です。

ただ、最初はかなり混乱しやすい言葉でもあります。

「プロンプトを入力する」と「コンテキストに情報が入る」は、同じことを言っているように見えるからです。

さらに、AIとの会話が長くなると、「最初に言った条件を忘れたのかな」と感じることもあります。

そう感じるのは自然です。AIは、今の質問だけでなく、前の会話や貼り付けた文章なども見ながら回答します。

ただし、見られる情報量には上限があります。

コンテキストはAIが回答時に見ている情報のまとまり、トークンはその情報量を処理する単位です。

この記事では、コンテキストとトークンの違いを整理しながら、長くなった会話を「引継ぎ文書」にして、新しいチャットへ移る実験を行います。

この記事のポイント

• プロンプトは、AIに入力する指示文です。
• コンテキストは、AIが回答するときに参照できる情報全体です。
• トークンは、AIが文章を処理するための単位です。
• 会話が長くなると、古い条件が回答に反映されにくい場合があります。
• 大事な条件は再掲するか、引継ぎ文書にして新しいチャットへ移ると整理しやすくなります。

最初に押さえる基本：コンテキスト・トークンとは？

まず、プロンプト、コンテキスト、トークンを分けて考えましょう。

プロンプトとは、AIに入力する指示文です。

たとえば「この記事を要約してください」「初心者向けに説明してください」のように、AIへ渡す文章がプロンプトです。

コンテキストとは、AIが回答するときに参照できる情報のまとまりです。

今入力したプロンプトだけでなく、前の会話、最初に伝えた条件、貼り付けた資料、AIがこれまでに出した回答なども含まれます。

つまり、プロンプトはコンテキストの一部になることがあります。

トークンとは、AIが文章を処理するときの単位です。

OpenAIのヘルプでは、トークンを、OpenAIモデルが処理するテキストの構成単位と説明しています。文字、単語の一部、記号、空白などがトークン数に関係します。

初心者向けには、まず次の表で整理すれば十分です。

最初は「プロンプト＝入力する指示」「コンテキスト＝AIが見ている情報全体」「トークン＝その量を処理する単位」と覚えれば十分です。

プロンプトとコンテキストは何が違う？

プロンプトとコンテキストは、かなり近い関係にあります。

ただし、同じ意味ではありません。

プロンプトは、あなたがAIに入力した指示文です。

一方で、コンテキストは、AIが回答するときに見ている情報全体です。

プロンプトは「今回渡す指示」、コンテキストは「AIが今回の回答を作るために見ている範囲」と考えると整理しやすくなります。

クリアファイルで考えるコンテキスト

コンテキストとは、今開いているAIとの会話で、AIが回答の材料として参照できる情報全体です。

ここでは、その情報全体を「10枚の紙が入ったクリアファイル」として考えてみましょう。

クリアファイルには、白紙の紙が10枚入っています。

AIとの会話が始まると、その紙に少しずつ情報を書き足していくイメージです。

たとえば、1枚目には「初心者向けに説明する」と書きます。

2枚目には「専門用語は少なめにする」と書きます。

3枚目には「クリアファイルの例えを使う」と書きます。

さらに会話が続くと、4枚目、5枚目、6枚目にも、質問や条件、AIの回答がどんどん書き込まれていきます。

では、10枚目まで使い終わったあと、11枚目の情報を入れたくなったらどうなるでしょうか。

実際のAIの仕組みは、クリアファイルがいっぱいになったからといって、最初の紙を1枚ずつ破って捨てるほど単純ではありません。

ただ、イメージとしては、古い紙が見えにくくなったり、内容が要約されたり、回答に反映されにくくなったりします。

ページ数が多い参考書を読んでいると、最初の方に書いてあった内容をすぐに思い出せないことがあります。

それに近い感覚で、AIとの会話でも情報が増えすぎると、最初に伝えた条件が回答に出にくくなる場合があります。

コンテキストを理解するときは、「AIが今どの紙を見ながら答えているのか」と考えるとわかりやすくなります。

コンテキストとトークンの違い

コンテキストとトークンの違いは、「中身」と「量」で考えると整理しやすくなります。

コンテキストは、AIが見ている情報のまとまりです。

トークンは、その情報量をAIが処理するときの単位です。

Google AI for Developersも、Geminiなどの生成AIモデルは、入力と出力をトークンという粒度で処理すると説明しています。

コンテキストは「AIが見ている情報の範囲」、トークンは「AIが処理する文章量の単位」です。

会話が長くなって回答がズレてきたらどうする？

AIとの会話が長くなると、最初に伝えた条件が回答に反映されにくい場合があります。

たとえば、最初に「初心者向けに説明してください」と伝えたのに、途中から専門的な回答になってくることがあります。

その場合は、まず大事な条件をもう一度伝えます。

これを条件を再掲すると呼びます。

ここから先も、初心者向けに説明してください。
専門用語は少なめにし、必要な場合は具体例を入れてください。

これだけでも、回答の方向が戻りやすくなります。

ただし、会話がかなり長くなっている場合は、条件の再掲だけでは整理しきれないこともあります。

その場合は、必要な条件だけをまとめた引継ぎ文書を作り、新しいチャットへ移る方法があります。

会話が長くなったときは、無理に同じチャットで続ける必要はありません。必要な条件だけを整理して、新しいチャットへ移る方がスムーズな場合もあります。

実験の準備

準備する内容

• 必要なもの：普段お使いの生成AI、スマホ・PC・タブレットのいずれか
• 所要時間：5〜10分
• 使う内容：架空の記事作成メモ
• 注意点：個人情報や社外秘は入力しない

今回の実験では、AIに「長くなった会話を引き継ぐための文書」を作ってもらいます。

実際に大量の文章を入力して、AIの反応を重くする必要はありません。

大切なのは、長くなった会話の中から、次の作業に必要な条件だけを取り出すことです。

この実験で、コンテキストを整理する感覚を体験します。

実験タイム

Step1：長くなった会話メモを用意する

まずは、架空の会話メモを使います。

実際の個人情報や仕事の機密情報は入れないでください。

ここでは、記事作成の相談が長くなった場面を想定します。

下のプロンプトは、右上の「コピー」ボタンからそのままコピーできます。

次の会話メモを読んでください。
まだ要約せず、「読みました」とだけ返してください。

会話メモ：
・記事テーマは「コンテキストとトークンの違い」
・読者はAI初心者から中級者
・プロンプト、コンテキスト、トークンの違いを最初に説明したい
・コンテキストはクリアファイルの例えで説明したい
・10枚までしか紙を挟めないクリアファイルを例にしたい
・会話が長くなると、最初の条件が回答に反映されにくい場合があると説明したい
・長くなったら条件を再掲する方法を入れたい
・新しいチャットへ移るための引継ぎ文書を作る方法も入れたい
・途中で朝ごはんの話をした
・昨日の天気の話も少しした
・記事のサムネイルはラボットくんを使う
・関連記事ではプロンプトの記事へ案内したい
・個人情報や社外秘は入力しない注意点を入れたい

このStepでは、会話メモの中に必要な情報と不要な情報が混ざっています。

「朝ごはん」や「昨日の天気」は、今回の記事作成にはほとんど関係ありません。

ここで見たいのは、情報をただ増やすだけでは使いやすくならないという点です。

Step2：引継ぎ文書を作る

次に、AIに引継ぎ文書を作ってもらいます。

目的は、長くなった会話をそのまま持ち運ぶことではありません。

次のチャットで必要になる条件だけを残すことです。

先ほどの会話メモを、新しいチャットに引き継ぐための文書に整理してください。

条件：
1. 続きの作業に必要な情報だけ残す
2. 不要な雑談や関係ない情報は外す
3. 次のチャットの最初に貼れる形にする
4. 「守ること」「記事の方向性」「次にやること」に分ける
5. できるだけ短く、しかし重要条件は落とさない

AIの出力では、必要な条件だけが整理されるはずです。

不要な情報を削り、必要な条件だけを残すと、次の作業に使いやすいコンテキストになります。

Step3：新しいチャットの最初に貼る形へ整える

最後に、引継ぎ文書をそのまま新しいチャットに貼れる形へ整えます。

これは、長くなった会話をリセットしながら、大事な条件だけを持ち越すための方法です。

今作った引継ぎ文書を、次のチャットの最初に貼る文章として整えてください。

条件：
・最初の一文で「この内容を前提に続けてください」と伝える
・守ってほしい条件を箇条書きにする
・不要な説明は削る
・次にお願いする作業がわかる形にする

出てきた文章を新しいチャットに貼れば、AIに必要な前提を再提示できます。

これにより、古い会話を全部持ち込まずに、必要な条件だけを整理できます。

完全に同じ状態を再現できるとは限りません。

それでも、長い会話をそのまま続けるより、作業の焦点が戻りやすくなります。

実験のあと片付け

実験お疲れさまでした。

今回の実験で確認したことを整理します。

コンテキストを整理するとは、AIに見せる情報を減らすだけではありません。必要な情報を見えやすい場所に置き直すことです。

会話が長くなったら、大事な条件を再掲する。

さらに長くなったら、引継ぎ文書を作って新しいチャットへ移る。

この流れを覚えておくと、AIとの作業が安定しやすくなります。

注意点：コンテキストとトークンで気を付けたいこと

コンテキストとトークンを理解すると、AIを使うときの失敗を減らしやすくなります。

ただし、いくつか注意点があります。

実際に使うときのコツ

コンテキストとトークンがわかると、AIへの頼み方が変わります。

大事なのは、AIにすべてを覚えてもらおうとしないことです。

AIが見やすい形に、必要な情報を置き直す意識が役立ちます。

AIをうまく使うコツは、長く頼むことではありません。必要な情報を選び、見やすく渡すことです。

よくある質問

コンテキストは今のチャットだけの話ですか？

基本的には、今開いている会話の中でAIが参照できる情報だと考えるとわかりやすいです。

たとえば、今の質問、前の会話、貼り付けた文章、途中で伝えた条件などが含まれます。

別のチャットの会話まで、毎回そのまま自動で読んでいるわけではありません。

そのため、別のチャットで続きの作業をしたい場合は、必要な条件を引継ぎ文書としてまとめて貼ると進めやすくなります。

トークン数を毎回数えないといけませんか？

普段のチャット利用では、毎回正確に数える必要はありません。

まずは、長いプロンプト、長い会話、長い回答ほどトークンを使うと理解しておけば十分です。

API利用や開発で料金や上限を管理する場合は、公式ドキュメントやトークン計算用の仕組みを確認してください。

引継ぎ文書には何を書けばいいですか？

目的、守ってほしい条件、これまで決めたこと、次にやることを書きます。

逆に、雑談、途中で迷った案、もう使わない条件は入れなくてよいです。

新しいチャットの最初に貼るなら、長すぎないことも大切です。

会話が長くなるたびに新しいチャットへ移るべきですか？

毎回移る必要はありません。

少し回答がズレただけなら、条件を再掲すれば十分な場合があります。

話題が混ざってきた、最初の条件が何度も抜ける、会話の目的が変わった、という場合は、引継ぎ文書を作って新しいチャットへ移ると整理しやすくなります。

関連するAI用語もあわせて確認

コンテキストとトークンは、プロンプト、コンテキストウィンドウ、LLMとも関係が深い言葉です。

AI用語辞典で基本の言葉を確認する

体験してわかるAI実験室

実際に手を動かして確認すると定着しやすくなります。

プロンプトとは？AIへの指示で答えが変わる実験

ChatGPTの基本の使い方を実験で確認する

まとめ

コンテキストとトークンは、AIとの会話を安定させるために重要な言葉です。

• プロンプトは、AIに入力する指示文です。
• コンテキストは、AIが回答するときに見ている情報全体です。
• トークンは、その文章量をAIが処理するための単位です。
• 会話が長くなると、最初に伝えた条件が回答に反映されにくい場合があります。
• 条件を再掲するか、引継ぎ文書を作って新しいチャットへ移ると整理しやすくなります。

AIをうまく使うコツは、情報を全部入れることではありません。

必要な情報を選び、AIが見やすい形に整理して渡すことです。

会話が長くなって回答がズレてきたら、まず条件を再掲します。

それでも整理しにくい場合は、引継ぎ文書を作って、新しいチャットで再スタートしてみましょう。

参考情報