トークン

トークンは、LLM が文章を処理するときの最小の単位です。1つのトークンは、単語、単語の一部、1文字、記号などにあたります。入力と出力の量、扱える量の上限、利用料金は、トークンの数で数えます。

文字数とトークン数の関係は、言語とモデルによって変わります。OpenAI の説明では、英語の場合、1トークンはおよそ4文字、または単語の4分の3にあたります。ほかの言語では、この関係が変わります。

読み

とーくん

英語

Token

業界

製造業、教育機関

業務

AI 活用

出典の確認日

2026年10月7日

「気になる」に追加用語集の一覧へ

関係する用語

• コンテキストウィンドウ：コンテキストウィンドウは、LLM が回答を作るときに一度に参照できる文章の範囲です。大きさはトークンの数で数え、入力した指示や資…
• LLM（大規模言語モデル）：LLM（Large Language Model。大規模言語モデル）は、大量の文章のデータで学習し、文章の続きを予測するしくみで…
• プロンプト：プロンプトは、生成 AI に与える入力です。質問や指示の文章のほか、役割の指定、回答の例、続きを書かせるための書きかけの文などを…
• チャンク分割（チャンキング）：チャンク分割（チャンキング）は、RAG で使う文書を、意味のまとまりを持つ適切な大きさのかたまり（チャンク）に分ける作業です。分…

このサイトの関連するページ

• LLM を業務で使う前に、知っておく言葉は何ですか。トークン、ハルシネーションなど

出典

• Anthropic: Glossary（Tokens）（別のタブで開きます）
• OpenAI Help Center: What are tokens and how to count them?（別のタブで開きます）