やさしいAI用語辞典

トークンとは?

Tokenトークンとは、AIが文章を処理するときに使う文字列の単位です。

文章は、そのまま一文ずつ処理されるのではなく、モデルが扱いやすい小さな単位に分けられます。その単位をトークンと呼びます。

11トークン=1文字・1単語ではない

トークンは、必ず1文字や1単語と一致するわけではありません。言語や文字列によって、単語の一部、記号、空白なども含めて分割されます。

そのため、「100文字だから100トークン」と単純には計算できません。

2なぜトークン数が重要?

生成AIでは、入力と出力の量をトークン数で扱うことがあります。

サービスやモデルによっては、一度に扱えるトークン数に上限があったり、API料金が入出力のトークン数をもとに計算されたりします。

ただし、具体的な上限や料金はモデルや時期によって変わるため、必要な場合は利用しているサービスの公式情報を確認してください。

3コンテキストとの関係

AIが回答するときに参照できる情報の範囲を「コンテキスト」と呼びます。その情報量を数えるときにもトークンが関係します。

会話や資料が長くなるほど、処理するトークン数も増えていきます。

4一緒に知ると分かりやすい言葉

5基礎から学ぶ・実際に使ってみる

AIを基礎から順番に知りたい方は、AIロードマップで学ぶ順番を確認できます。

実際の活用・比較・検証を見たい方は、AI実験室をご覧ください。

参考にした公式情報(確認日:2026年10月19日)