トークンとは？

Token

トークンとは？まずは結論から。

トークンとは、AIが文章を処理するために、文字や言葉を細かく分けた単位です。

人が文章を読むときは、「こんにちは」「今日は暑いですね」のように、文字や文として見ます。一方、AIは文章をそのまま人と同じ形で読んでいるわけではありません。内部では、文章を処理しやすい小さなまとまりに分けています。

この小さなまとまりがトークンです。

トークンは、AIに渡す文章量を考えるための「目盛り」のようなものです。

ただし、トークンは文字数と完全に同じではありません。1文字が1トークンに近い場合もあれば、複数の文字や単語の一部が1トークンとして扱われる場合もあります。

ここでつまずきやすいのは、「正確に数えないとAIを使えないのか」と考えてしまうことです。

普段のAI利用では、毎回トークン数を細かく数える必要はありません。まずは、次のように理解すれば十分です。

• 文章が長くなるほど、AIが処理するトークン数も増えやすい
• 入力する文章だけでなく、AIが返す回答にもトークンが使われる
• トークン数が増えると、扱える文章量、回答の長さ、料金や利用量に影響する場合がある

トークンを知ると何が得なのか

トークンを知る一番のメリットは、AIに文章を渡すときの考え方が変わることです。

トークンを知らないと、AIに対して「とりあえず全部貼る」「詳しくとだけ頼む」「会話をずっと続ける」という使い方になりやすくなります。

もちろん、それでもAIは回答してくれます。ただし、長文や複雑な相談になるほど、回答がぼやけたり、必要な条件が抜けたりしやすくなります。

トークンを知っていると、次のように考えられます。

場面	トークンを知っているとできること
長文を入れる	全部を一気に貼る前に、必要な範囲だけに絞れます。長すぎる場合は、前半・後半のように分けて渡す判断ができます。
回答を頼む	「詳しく」だけでなく、「300字程度」「3項目」「表で整理」のように、出力の長さや形を指定できます。
会話が長い	前の条件が埋もれそうなときに、大事な条件をもう一度まとめて伝え直せます。
業務で使う	大量の文章を扱う前に、必要な情報だけを整理する意識が持てます。API利用では、料金や利用量の見積もりにも関係します。

つまり、トークンを知るメリットは、AIの内部を細かく見ることではなく、AIに渡す情報量を設計しやすくなることです。

たとえ話で考えるトークン

トークンは少し見えにくい言葉なので、作業机にたとえると分かりやすくなります。

AIに文章を渡すことは、作業机の上に資料を置くことに似ています。

• 短い質問は、机の上にメモを1枚置くようなもの
• 長い会議録は、机の上に資料の束を置くようなもの
• メールのやり取りを全部貼るのは、封筒ごと何通も置くようなもの
• 長い回答を求めるのは、AIに机の上で長いレポートを書いてもらうようなもの

机の上に資料が多すぎると、人でも「どこを見ればいいのか」が分かりにくくなります。

AIも同じで、長い文章をただ渡すだけでは、重要な条件が埋もれやすくなります。だからこそ、トークン数という考え方を知っておくと、AIに渡す情報を整理しやすくなります。

トークンを知るとは、「AIに何をどれくらい渡すか」を考えられるようになることです。

トークンと文字数・単語数の関係

トークンは、文字数や単語数と関係はありますが、同じものではありません。

この違いを知らないと、「まだそんなに長くないはずなのに、なぜうまくいかないのか」と感じやすくなります。

項目	考え方
文字数	人が見たときの文字の数です。「こんにちは」は5文字と数えられます。
単語数	言葉のまとまりを数える考え方です。英語では数えやすい一方、日本語ではどこで区切るかが分かりにくい場合があります。
トークン数	AIが文章を読むために、文字や言葉を細かく区切った数です。人には「1つの文章」に見えても、AIの内部では複数のトークンに分けて処理されることがあります。

つまり、文字数は「人が見た数」、トークン数は「AIが処理しやすいように分けた数」です。同じ文章でも、文字数とトークン数はぴったり一致しないことがあります。

初心者の段階では、「何文字なら何トークン」と暗記する必要はありません。

まずは、次の判断ができれば十分です。

• 長文をそのまま入れると、AIが処理する量も増える
• 記号、改行、英数字、専門用語が多い文章は、見た目以上に細かく分かれる場合がある
• 入力だけでなく、AIの回答にもトークンが使われる

入力トークンと出力トークン

トークンには、大きく分けて入力トークンと出力トークンがあります。

入力トークンは、こちらがAIに渡す文章です。出力トークンは、AIが返す回答です。

種類	意味
入力トークン	人がAIに送る文章や条件のトークンです。質問文、貼り付けた長文、会話履歴、指定したルールなどが含まれます。
出力トークン	AIが返す回答のトークンです。説明文、要約文、メール文、表の中身など、AIが生成した文章が含まれます。

AIにたくさん渡すと入力トークンが増え、AIに長い回答を求めると出力トークンが増えます。

ここで大事なのは、入力だけを短くすればよいわけではないことです。

たとえば、次のような依頼をすると、出力トークンが増えやすくなります。

• 詳しく説明してください
• 例を10個出してください
• 表にして、さらに補足も入れてください
• 初心者向けに丁寧に長く説明してください

このような依頼が悪いわけではありません。ただ、必要以上に長い回答が返ってくると、読む側も整理しにくくなります。

そのため、出力を頼むときは「300字程度」「3項目」「まず結論、そのあと理由」のように指定すると、AIの回答を扱いやすくなります。

実例1：会議メモを要約するとき

トークンの考え方が役立つ場面として、長い会議メモの要約があります。

たとえば、次のように頼むとします。

以下の会議メモをいい感じにまとめてください。

この依頼でも、AIは回答してくれます。ただし、会議メモが長い場合、AIにとっては大量の入力トークンを一気に処理する状態になります。

その結果、次のようなことが起こりやすくなります。

• 重要な決定事項と雑談が同じように扱われる
• 担当者や期限が抜ける
• 長い要約になり、結局読みづらい
• どこを重視した要約なのか分かりにくい

トークンを意識するなら、次のように依頼を整理します。

以下の会議メモを、欠席者に共有する目的で整理してください。
重視するのは、決定事項、担当者、期限、次回までの宿題です。
出力は「決定事項」「担当者別の作業」「未決事項」の3つに分けてください。
雑談や背景説明は省いてください。

このように書くと、AIは「どの情報を優先すればよいか」を判断しやすくなります。

さらに会議メモが長い場合は、全文を一度に貼るのではなく、前半と後半に分ける方法もあります。

• まず前半を要約する
• 次に後半を要約する
• 最後に2つの要約を統合する

トークンを知っていると、「長文だからAIに任せる」ではなく、「長文だから分けて渡す」という判断ができます。

実例2：メール返信を作るとき

メール返信でも、トークンの考え方は役立ちます。

たとえば、取引先とのメールが10往復あるとします。その全文を貼り付けて、次のように頼むこともできます。

このメールの返信を考えてください。

しかし、メールのやり取りが長い場合、AIには多くの入力トークンが渡されます。その中には、今の返信に必要ない過去の話も混ざっているかもしれません。

この場合は、全文を貼る前に、必要な情報を整理した方が扱いやすくなります。

取引先への返信文を作ってください。
状況：納期を1週間延ばしたい。
相手：既存の取引先。丁寧だが固すぎない文にしたい。
伝えたいこと：遅れる理由、謝罪、代替案、確認依頼。
入れてほしくないこと：言い訳っぽい表現。
出力：メール本文だけ。

このように整理すると、AIに渡す情報量は少なくても、必要な条件は伝わります。

トークンを知っていると、「たくさん貼れば正確になる」とは考えにくくなります。むしろ、必要な条件を選んで渡す方が、AIの回答が使いやすくなる場面があります。

実例3：ブログ記事や文章を直すとき

ブログ記事や説明文をAIに直してもらうときも、トークンを知っていると依頼の仕方が変わります。

たとえば、記事全文を貼って次のように頼むとします。

この記事を読みやすくしてください。

この依頼では、AIは全文を対象にします。文章量が多いほど入力トークンが増え、どこを直せばよいのかも広がります。

その結果、次のような出力になりやすくなります。

• 全体的な助言だけで終わる
• 重要でない箇所まで直される
• 見出し構成が変わりすぎる
• 元の記事の目的からずれる

この場合は、修正対象を絞ると使いやすくなります。

この記事の導入文だけを改善してください。
目的は、初心者が「この記事を読む意味」をすぐ理解できるようにすることです。
専門用語は増やさず、本文のテーマは変えないでください。
出力は、修正版の導入文だけにしてください。

この依頼なら、AIが見る範囲も、出力する範囲もはっきりします。

トークンを知ると、AIに「全部見て」ではなく、「ここを、この目的で直して」と頼めるようになります。

トークンをAI利用に活かす5つの考え方

トークン数を毎回正確に数えなくても、次の5つを意識するだけでAIは使いやすくなります。

1. 長文はそのまま渡さず、目的を先に伝える

長い文章を貼る前に、「何のために読ませるのか」を先に伝えます。

たとえば、同じ会議メモでも、目的によって見るべき場所は変わります。

• 欠席者に共有したい
• 決定事項だけ知りたい
• 次にやる作業だけ整理したい
• 議事録として整えたい

目的を先に伝えると、AIは長文の中から重要な部分を拾いやすくなります。

2. 一度の依頼で複数の作業を詰め込みすぎない

長文を読ませて、要約して、表にして、改善案を出して、メール文も作る。これを一度に頼むと、入力も出力も長くなります。

作業を分けると、AIの回答を確認しやすくなります。

• 最初に要約する
• 次に不足点を出す
• 最後にメール文を作る

このように分けると、途中で方向修正もしやすくなります。

3. 回答の長さを指定する

AIに「詳しく」と頼むと、必要以上に長くなることがあります。

長い回答が必要な場合もありますが、最初から長すぎると、読む側が疲れます。

次のように指定すると扱いやすくなります。

• 100字程度で説明してください
• 3つに絞ってください
• 表ではなく箇条書きでください
• 結論、理由、注意点の順にしてください

これは出力トークンを意識した使い方です。

4. 会話が長くなったら条件をまとめ直す

AIとの会話が長くなると、最初に伝えた条件が会話の中に埋もれることがあります。

たとえば、メール文を作ってもらっている途中で、何度も修正を重ねるとします。

• もう少し丁寧にする
• 短くする
• 謝罪の言葉を入れる
• 相手に確認してほしい内容を追加する

このように会話が続くと、AIが「最初に何を作ろうとしていたのか」を見失いやすくなることがあります。

そのときは、途中で条件をまとめ直すと回答が安定しやすくなります。

ここまでの条件を整理します。
取引先への返信メールを作りたいです。
目的は、納期が1週間遅れることを丁寧に伝えることです。
入れてほしい内容は、謝罪、遅れる理由、変更後の納期、確認のお願いです。
文章は長くしすぎず、やわらかい敬語で作ってください。

このように伝え直すと、AIは必要な条件をもう一度確認したうえで回答しやすくなります。

トークンを知っていると、「会話が長くなったら、AIが見ている情報も増えている」と考えられます。だからこそ、途中で条件を整理して渡し直すことが有効です。

5. 正確な数が必要なときだけ公式ツールで確認する

普段のチャット利用では、トークン数を毎回正確に数える必要はありません。

ただし、APIを使う場合、大量の文章を処理する場合、料金や上限を見積もりたい場合は、公式のトークン確認ツールや公式ドキュメントを確認する方が安全です。

トークンの分け方は、AIモデルやサービスによって変わる場合があります。感覚だけで決めず、必要な場面では公式情報で確認しましょう。

トークンで注意したいこと

トークンはAIを使いやすくするための考え方ですが、誤解しやすい点もあります。

よくある質問

API利用や大量の文章処理など、料金や上限に関係する場面では、公式ツールや公式ドキュメントで確認しましょう。

長い文章はAIに入れない方がいいですか？

長い文章を入れてはいけないわけではありません。

ただし、目的を伝えずに長文をそのまま貼ると、AIがどこを重視すればよいか分かりにくくなる場合があります。

長い文章を使うときは、「何をしてほしいのか」「どこを見てほしいのか」「どの形で返してほしいのか」を先に伝えると扱いやすくなります。

トークンとコンテキストは同じですか？

同じではありません。

トークンは、AIが文章を処理するときの小さな単位です。コンテキストは、AIが回答を作るときに参照する会話や条件の範囲です。

簡単にいえば、トークンは「文章量を考える単位」、コンテキストは「AIが見ている範囲」です。詳しい関係は、AI実験室の記事で確認すると理解しやすくなります。

日本語はトークン数が多くなりやすいですか？

日本語のトークン数は、使うAIモデルや分割の仕組みによって変わります。

英語のようにスペースで単語を区切る言語と、日本語のように単語の区切りが見えにくい言語では、トークンの分けられ方が異なる場合があります。正確な数が必要な場合は、公式のトークン確認ツールを使うのが安全です。

体験してわかるAI実験室

実際に手を動かして確認すると定着しやすくなります。

コンテキストとトークンの関係をAI実験室で確認する

プロンプトとは？AIへの指示で答えが変わる実験

ChatGPTの基本の使い方をAI実験室で確認する

関連するAI用語もあわせて確認

AI用語に迷ったときは、次の案内からAI用語辞典で基本の言葉を確認できます。

AI用語辞典で基本の言葉を確認する

まとめ

トークンとは、AIが文章を処理するときに使う小さな単位です。

もう少し実用的に言えば、トークンはAIに渡す情報量を考えるための単位です。

人から見ると普通の文章でも、AIの内部では、文字、空白、記号、単語の一部などが小さく分けられて処理されます。この小さな単位がトークンです。

AIが一度に扱えるトークン量には限りがあります。だから、長い文章をそのまま渡したり、必要のない情報まで入れたりすると、AIが処理する情報量が増えます。

トークンを理解する意味は、AIに渡す情報を無駄なく整理し、必要な長さで回答を返してもらいやすくすることです。

長い文章を使うときは、目的、必要な範囲、出力形式を先に整理する。回答が長くなりそうなときは、文字数や項目数を指定する。会話が長くなったら、大事な条件をまとめ直す。

この意識があるだけで、AIへの指示はかなり伝わりやすくなります。

トークンは、AIの内部だけで使われる難しい専門用語ではありません。AIに何をどれくらい渡すかを判断するための、実用的な考え方です。

• OpenAI Help Center「トークンとは何ですか？また、どのように数えますか？」
• OpenAI API Docs「Key concepts」
• Google AI for Developers「Understand and count tokens」