コンテキストとトークンとは？違いを実験で理解する

コンテキストとトークンは、AIとの会話でよく出てくる大事な言葉です。

ただ、最初は少し混乱しやすい言葉でもあります。

「プロンプトを入力する」と「コンテキストに情報が入る」は、同じことを言っているように見えるからです。

また、AIとの会話が長くなると、「最初に言った条件を忘れたのかな」と感じることもあります。

そう感じるのは自然です。

AIは、今の質問だけでなく、前の会話や貼り付けた文章なども見ながら回答します。

ただし、見られる情報量には上限があります。

この記事では、コンテキストはAIが回答時に見ている情報のまとまり、トークンはその量を数える単位として整理します。

さらに、長くなった会話を「引継ぎ文書」にして、新しいルームへ移る実験も行います。

この記事のポイント

• プロンプトは、AIに入力する指示文
• コンテキストは、AIが回答するときに参照できる情報全体
• トークンは、AIが文章を処理するための単位
• 会話が長くなると、古い条件が回答に反映されにくい場合がある
• 大事な条件は再掲するか、引継ぎ文書にして新しいルームへ移ると整理しやすい

最初に押さえる基本：コンテキスト・トークンとは？

まず、プロンプト、コンテキスト、トークンを分けて考えましょう。

プロンプトとは、AIに入力する指示文です。

たとえば「この記事を要約してください」「初心者向けに説明してください」のように、AIへ渡す文章がプロンプトです。

コンテキストとは、AIが回答するときに参照できる情報のまとまりです。

今入力したプロンプトだけでなく、前の会話、最初に伝えた条件、貼り付けた資料、AIがこれまでに出した回答なども含まれます。

つまり、プロンプトはコンテキストの一部になることがあります。

ここを分けておくと、かなり理解しやすくなります。

トークンとは、AIが文章を処理するときの単位です。

日本語の1文字、英単語の一部、記号、空白などが、AIの内部では細かい単位に分けられます。

その単位をまとめてトークンと呼びます。

最初は「プロンプト＝入力する指示」「コンテキスト＝AIが見ている情報全体」「トークン＝その量を数える単位」と覚えれば十分です。

プロンプトとコンテキストは何が違うの？

プロンプトとコンテキストは、かなり近い関係にあります。

ただし、同じ意味ではありません。

プロンプトは、あなたがAIに入力した指示文です。

一方で、コンテキストは、AIが回答するときに見ている情報全体です。

たとえば、次のような会話を考えてみます。

プロンプトは「今回渡す指示」、コンテキストは「AIが今回の回答を作るために見ている範囲」と考えると整理しやすくなります。

クリアファイルで考えるコンテキスト

コンテキストとは、今開いているAIとの会話で、AIが回答の材料として参照できる情報全体です。

ここでは、その情報全体を「10枚の紙が入ったクリアファイル」として考えてみましょう。

そのクリアファイルには、白紙の紙が10枚入っています。

AIとの会話が始まると、その紙に少しずつ情報を書き足していくイメージです。

たとえば、1枚目には「初心者向けに説明する」と書きます。

2枚目には「専門用語は少なめにする」と書きます。

3枚目には「クリアファイルの例えを使う」と書きます。

さらに会話が続くと、4枚目、5枚目、6枚目にも、質問や条件、AIの回答がどんどん書き込まれていきます。

では、10枚目まで使い終わったあと、11枚目の情報を入れたくなったらどうなるでしょうか。

ここが、コンテキストを理解するうえで特に大事なポイントです。

実際のAIの仕組みは、クリアファイルがいっぱいになったからといって、最初の紙を1枚ずつ破って捨てるほど単純ではありません。

ただ、イメージとしては、古い紙が見えにくくなったり、内容が要約されたり、回答に反映されにくくなったりします。

ページ数が多い参考書を読んでいると、最初の方に書いてあった内容をすぐに思い出せないことがあります。

それに近い感覚で、AIとの会話でも情報が増えすぎると、最初に伝えた条件が回答に出にくくなる場合があります。

その結果、たとえば1枚目に書いた「初心者向けに説明する」という条件を、AIが思い出しにくくなったように見えることがあります。

そのため、急に専門的な回答になったり、最初にお願いした雰囲気からズレたりする場合があります。

AIが急に気まぐれになったわけではありません。

クリアファイルの中で、古い条件が見えにくい場所へ押し出されたような状態だと考えるとわかりやすいです。

コンテキストを理解するときは、「AIが今どの紙を見ながら答えているのか」と考えるとわかりやすくなります。

トークンは紙の量を数える単位

では、トークンは何でしょうか。

クリアファイルの例で考えるなら、トークンは紙の枚数や文字量を数えるための単位に近いものです。

AIは、文章をそのまま人が読むようには処理していません。

内部では、文章を細かい単位に分けて扱います。

この単位がトークンです。

OpenAIの公式ヘルプでは、トークンはモデルが処理するテキストの基本単位で、文字、単語の一部、記号、空白などがトークン数に影響すると説明されています。

ここで大事なのは、トークンは「入力した文章」だけではないことです。

AIが返す回答にもトークンが使われます。

つまり、あなたが長い文章を入力し、AIが長い回答を返すほど、全体として扱うトークン量は増えます。

トークンは、初心者が普段から正確に数える必要はありません。まずは「文章量が増えるほど、AIが処理する量も増える」と理解すれば十分です。

コンテキストとトークンの違い

ここまでを整理すると、コンテキストとトークンの違いは次のようになります。

コンテキストは、AIが見ている情報のまとまりです。

トークンは、その情報量を処理するための単位です。

つまり、コンテキストは「中身」、トークンは「量を数える単位」と考えると理解しやすくなります。

「コンテキストに入れる」と言うより、初心者向けには「プロンプトや会話履歴が、AIの見ている情報に含まれる」と考える方が自然です。

今回の学習ワード

この記事で覚える言葉は、次の3つです。

この3つを分けておくと、AIとの会話が長くなったときのズレを理解しやすくなります。

会話が長くなると何が起きる？

AIとの会話が長くなると、クリアファイルの中に紙が増えていきます。

最初に伝えた条件、途中で追加した条件、AIの回答、貼り付けた文章などが積み上がるためです。

このとき、次のようなことが起きる場合があります。

• 最初に伝えた条件が回答に反映されにくくなる
• 古い情報より、新しい指示が強く反映される
• 不要な雑談や途中の話題が回答に混ざる
• AIが何を優先すればよいのか判断しにくくなる
• 回答が長くなりすぎたり、焦点がぼやけたりする

これは、AIが前の話を完全に忘れたと断定できるものではありません。

ただ、会話が長くなるほど、AIが参照する情報の整理が重要になります。

特に、守ってほしい条件がある場合は注意が必要です。

たとえば、次のような条件です。

• 初心者向けに説明する
• 専門用語は使いすぎない
• 公式情報がないものは「不明」と出す
• 表や箇条書きで整理する
• 必要な場合は具体例を入れる

このような条件は、会話の最初に一度だけ伝えるより、必要な場面で短く伝え直した方が安定します。

会話が長くなって回答がズレてきたらどうする？

では、会話が長くなって、AIの回答がズレてきたらどうすればよいのでしょうか。

まず試したいのは、大事な条件をもう一度伝えることです。

これを条件を再掲（さいけい）すると呼びます。

再掲とは、前に伝えた内容をもう一度書くことです。

たとえば、最初に「初心者向けに説明してください」と伝えたのに、途中から専門的な回答になってきたとします。

その場合は、次のように短く伝え直します。

ここから先も、初心者向けに説明してください。
専門用語は少なめにし、必要な場合は具体例を入れてください。

これだけでも、回答の方向が戻りやすくなります。

ただし、会話がかなり長くなっている場合は、条件の再掲だけでは整理しきれないこともあります。

その場合は、必要な条件だけをまとめた引継ぎ文書を作り、新しいルームへ移る方法があります。

会話が長くなったときは、無理に同じルームで続ける必要はありません。必要な条件だけを整理して、新しいルームへ移る方がスムーズな場合もあります。

では、今のことを踏まえて、ここからは手を動かしながら実際に試していきましょう。

実験の準備

準備する内容

• 必要なもの：普段お使いの生成AI、スマホ・PC・タブレットのいずれか
• 所要時間：5〜10分
• 使う内容：架空の記事作成メモ
• 注意点：個人情報や社外秘は入力しない

今回の実験では、AIに「長くなった会話を引き継ぐための文書」を作ってもらいます。

実際に大量の文章を入力して、AIの反応を重くする必要はありません。

大切なのは、長くなった会話の中から、次の作業に必要な条件だけを取り出すことです。

この実験で、コンテキストを整理する感覚を体験します。

実験タイム

Step1：長くなった会話メモを用意する

まずは、架空の会話メモを使います。

実際の個人情報や仕事の機密情報は入れないでください。

ここでは、記事作成の相談が長くなった場面を想定します。

次の会話メモを読んでください。
まだ要約せず、「読みました」とだけ返してください。

会話メモ：
・記事テーマは「コンテキストとトークンの違い」
・読者はAI初心者から中級者
・プロンプト、コンテキスト、トークンの違いを最初に説明したい
・コンテキストはクリアファイルの例えで説明したい
・10枚までしか紙を挟めないクリアファイルを例にしたい
・会話が長くなると、最初の条件が回答に反映されにくい場合があると説明したい
・長くなったら条件を再掲する方法を入れたい
・新しいルームへ移るための引継ぎ文書を作る方法も入れたい
・途中で朝ごはんの話をした
・昨日の天気の話も少しした
・記事のサムネイルはラボットくんを使う
・関連記事ではプロンプトの記事へ案内したい
・個人情報や社外秘は入力しない注意点を入れたい

このStepでは、会話メモの中に必要な情報と不要な情報が混ざっています。

ここで見たいのは、情報をただ増やすだけでは使いやすくならないという点です。

「朝ごはん」や「昨日の天気」は、今回の記事作成にはほとんど関係ありません。

Step2：引継ぎ文書を作る

次に、AIに引継ぎ文書を作ってもらいます。

ここでの目的は、長くなった会話をそのまま持ち運ぶことではありません。

次のルームで必要になる条件だけを残すことです。

先ほどの会話メモを、新しいチャットに引き継ぐための文書に整理してください。

条件：
1. 続きの作業に必要な情報だけ残す
2. 不要な雑談や関係ない情報は外す
3. 次のチャットの最初に貼れる形にする
4. 「守ること」「記事の方向性」「次にやること」に分ける
5. できるだけ短く、しかし重要条件は落とさない

AIの出力では、必要な条件だけが整理されるはずです。

たとえば、次のような内容です。

不要な情報を削り、必要な条件だけを残すと、次の作業に使いやすいコンテキストになります。

Step3：新しいルームの最初に貼る形へ整える

最後に、引継ぎ文書をそのまま新しいルームに貼れる形へ整えます。

これは、長くなった会話をリセットしながら、大事な条件だけを持ち越すための方法です。

今作った引継ぎ文書を、次のチャットの最初に貼る文章として整えてください。

条件：
・最初の一文で「この内容を前提に続けてください」と伝える
・守ってほしい条件を箇条書きにする
・不要な説明は削る
・次にお願いする作業がわかる形にする

出てきた文章を新しいルームに貼れば、AIに必要な前提を再提示できます。

これにより、古い会話を全部持ち込まずに、必要な条件だけを整理できます。

完全に同じ状態を再現できるとは限りません。

それでも、長い会話をそのまま続けるより、作業の焦点が戻りやすくなります。

実験のあと片付け

実験お疲れさまでした。

今回の実験で確認したことを整理します。

コンテキストを整理するとは、AIに見せる情報を減らすだけではありません。必要な情報を見えやすい場所に置き直すことです。

ここで大事なのは、AIに丸投げするのではなく、条件を整理して考える材料を渡すことです。

会話が長くなったら、大事な条件を再掲する。

さらに長くなったら、引継ぎ文書を作って新しいルームへ移る。

この流れを覚えておくと、AIとの作業がかなり安定します。

注意点：コンテキストとトークンで気を付けたいこと

コンテキストとトークンを理解すると、AIを使うときの失敗を減らしやすくなります。

ただし、いくつか注意点があります。

実際に使うときのコツ

コンテキストとトークンがわかると、AIへの頼み方が変わります。

大事なのは、AIにすべてを覚えてもらおうとしないことです。

AIが見やすい形に、必要な情報を置き直す意識が役立ちます。

AIをうまく使うコツは、長く頼むことではありません。必要な情報を選び、見やすく渡すことです。

よくある質問

コンテキストは今のルームだけの話ですか？

基本的には、今開いている会話の中でAIが参照できる情報だと考えるとわかりやすいです。

たとえば、今の質問、前の会話、貼り付けた文章、途中で伝えた条件などが含まれます。

別のルームの会話まで、毎回そのまま自動で読んでいるわけではありません。

そのため、別のルームで続きの作業をしたい場合は、必要な条件を引継ぎ文書としてまとめて貼ると進めやすくなります。

トークン数を毎回数えないといけませんか？

普段のチャット利用では、毎回正確に数える必要はありません。

まずは、長いプロンプト、長い会話、長い回答ほどトークンを使うと理解しておけば十分です。

API利用や開発で料金や上限を管理する場合は、公式ドキュメントやトークン計算用の仕組みを確認してください。

引継ぎ文書には何を書けばいいですか？

目的、守ってほしい条件、これまで決めたこと、次にやることを書きます。

逆に、雑談、途中で迷った案、もう使わない条件は入れなくてよいです。

新しいルームの最初に貼るなら、長すぎないことも大切です。

関連するAI用語もあわせて確認

コンテキストとトークンは、プロンプトとも関係が深い言葉です。

AI用語辞典で基本の言葉を確認する

AI用語に迷ったときは、AI用語辞典で基本の言葉を確認すると、関係を整理しやすくなります。

体験してわかるAI実験室

実際に手を動かして確認すると定着しやすくなります。

プロンプトとは？AIへの指示で答えが変わる実験

ChatGPTの基本の使い方を実験で確認する

ファクトチェックとは？AIの答えを確認する実験

まとめ

コンテキストとトークンは、AIとの会話を安定させるために重要な言葉です。

プロンプトは、AIに入力する指示文です。

コンテキストは、AIが回答するときに見ている情報全体です。

トークンは、その文章量をAIが処理するための単位です。

コンテキストは、10枚まで紙を挟めるクリアファイルとして考えるとわかりやすくなります。

会話が長くなるほど、ファイルの中の紙は増えていきます。

その結果、最初に伝えた条件が見えにくくなったり、回答に反映されにくくなったりする場合があります。

そのときは、大事な条件を再掲しましょう。

さらに会話が長くなったら、引継ぎ文書を作って新しいルームへ移る方法もあります。

AIをうまく使うコツは、情報を全部入れることではありません。

必要な情報を選び、AIが見やすい形に整理して渡すことです。

参考情報