スプライングローバル株式会社
お問い合わせ
お知らせ資料から動画を自動生成するSylavids（シラビズ）をリリースしました。

ホーム　／　コラム

LLM を業務で使う前に、知っておく言葉は何ですか。トークン、ハルシネーションなど

最終更新日：

スプライングローバル株式会社

LLM（大規模言語モデル）を業務で使う前に知っておく言葉は、5つの組に分けられます。文章を出すしくみ、入力と出力の単位、指示の書き方、誤りとその補い方、モデルの種類と大きさです。なかでも、トークン、コンテキストウィンドウ、ハルシネーションの3つは、費用、扱える資料の量、回答の確かめ方に関わります。

LLM は、どうやって文章を出しますか

LLM は、大量の文章のデータで学習し、文章の続きを予測する言語モデルです。米国の NIST の文書（NIST AI 600-1（別のタブで開きます））は、LLM は次のトークンまたは語を予測すると説明しています。

NIST AI 600-1 は、生成モデルは、学習データの統計的な分布に近い出力を作ると説明しています。この統計的な予測は、正しい出力を作ることも、誤った出力を作ることもあるとしています。

図LLM が文章を出すまでの流れ
  1. 1入力（プロンプト）質問や指示、資料の文章
  2. 2トークンに分ける単語や単語の一部などの単位で扱う
  3. 3次のトークンを選ぶ前の文脈から、続きを予測する
  4. 4出力回答の文章。量はトークンで数える

緑の箱は、LLM の中心の働きです。当社による整理です。

しくみに関わる言葉は、次の6つです。

Transformer注意機構（アテンション）だけで文の並びを扱う、ニューラルネットワークの構造です。2017年の論文が示しました。
事前学習大量のデータを使って、モデルに最初に行う学習です。
推論（インファレンス）学習を終えたモデルに新しいデータを与えて、出力を得る処理です。質問して回答を得るときに行われます。
パラメーターモデルが学習によって決める内部の数値です。モデルの規模を、この数で表すことがあります。
トークンLLM が文章を処理するときの最小の単位です。単語、単語の一部、1文字、記号などにあたります。
コンテキストウィンドウ回答を作るときに、一度に参照できる文章の範囲です。大きさは、トークンの数で数えます。

トークンとコンテキストウィンドウは、何に関わりますか

入力と出力の量、扱える量の上限、利用料金は、トークンの数で数えます。文字数とトークン数の関係は、言語とモデルによって変わります。OpenAI の説明では、英語の場合、1トークンはおよそ4文字です。

コンテキストウィンドウには、入力した指示や資料と、出力する回答の両方が含まれます。文書の全体を渡すと、費用が増え、トークンの上限を超えるおそれがあります。

指示の書き方には、どんな言葉がありますか

指示の書き方と設定に関わる言葉は、プロンプト、システムプロンプト、Few-shot プロンプティングなど、次の7つです。

プロンプト生成 AI に与える入力です。質問や指示のほか、役割の指定、回答の例などを含みます。
システムプロンプトアプリケーションの開発者が、利用者の入力とは別に与える指示です。役割、口調、出力の形式などを指定します。
Few-shot プロンプティングプロンプトに、入力と望む出力の例をいくつか入れる方法です。モデルのパラメーターは変わらず、例は、その回の推論に限って答え方を寄せます。
Chain-of-Thought答えに至る途中の考えを、順に書かせる方法です。2022年の論文が示しました。
プロンプトエンジニアリング望む出力が安定して得られるように、プロンプトを設計し、試して直す作業です。モデルには手を加えません。
temperature（温度）次のトークンを選ぶときの、ばらつきの大きさを変える設定値です。低くすると、出力が安定します。
構造化出力出力を、開発者が JSON Schema で指定した形に従わせる機能です。保証されるのは形で、値の正しさではありません。

モデルが知らないことや誤りは、どう補いますか

知識のカットオフより後の出来事や、学習データに無い社内の文書は、検索の結果や文書を LLM に渡して補います。知識のカットオフは、LLM の知識がどの時点までの情報にもとづくかを示す期日です。

ハルシネーションは、生成 AI が、誤った内容や偽の内容を、自信のある書き方で出力する現象です。NIST AI 600-1 は、ハルシネーションを confabulation と呼び、生成モデルの設計から自然に起こる結果だとしています。前後で食い違う出力も、confabulation に含めています。

回答を、検索の結果や社内の文書など、確かめられる情報源にもとづかせることを、グラウンディングと呼びます。補う方法は、次の3つに整理できます。

図モデルに足りないことを補う3つの方法

モデルは変えない

プロンプトエンジニアリング

指示や回答の例を工夫して渡す

  • 例は、その回の推論に限って効く
  • 渡せる量には、トークンの上限がある

モデルは変えない

RAG（検索拡張生成）

関係する文書を検索で探して渡す

  • 学習データに無い社内の文書を渡せる
  • 効果は、知識ベースと取り出す情報の質による

モデルを変える

ファインチューニング

追加の学習でパラメーターを調整する

  • 文体や出力の形式を変える使い道がある
  • 作業に合った学習用のデータを使う

3つは、組み合わせて使えます。当社による整理です。

RAG は、検索で探した文書を LLM に渡す方法です。デジタル庁のガイドライン（DS-920）は、RAG を、ファインチューニングを経ずに知識を広げる手法と説明しています。RAG の効果は、知識ベースと、取り出した情報の質によります。

ファインチューニングは、2回めの学習で、モデルのパラメーターを調整する方法です。作業に合った学習用のデータを使い、文体や出力の形式を変える使い道があります。

Microsoft の文書（別のタブで開きます）は、プロンプトエンジニアリング、RAG、ファインチューニングを、どれか1つを選ぶものではなく、組み合わせて使える方法としています。

推論モデルや SLM は、何を指しますか

推論モデルと SLM は、モデルの種類と大きさを表す言葉です。日本語の「推論」は、2つの意味で使われます。出力を得る処理（inference）と、回答の前に考える過程（reasoning）です。

推論モデル（リーズニングモデル）回答を出す前に、内部で考える過程をとる LLM です。開発元によって、reasoning、thinking と呼び名が違います。
SLM（小規模言語モデル）LLM と比べて、パラメーターの数が少ない言語モデルです。どの規模からそう呼ぶかの定義は、統一されていません。
オンデバイス AIスマートフォンやパソコンなどの端末の中で、推論を行う方式です。データを、クラウドのサーバーに送らずに処理します。
ベンチマークモデルの能力を比べるために用意された、決まった課題と採点の方法の集まりです。

International AI Safety Report 2026 は、今の評価の方法は、実際の現場での働きを確実には反映しないとしています。

業務で使う前に、何を確かめますか

  • 扱う資料の量。コンテキストウィンドウに入る量かどうかを確かめます。RAG では、文書を分け、質問に関係する部分を渡します。
  • 情報の新しさ。開発元は、モデルごとの知識のカットオフを、公式の文書に載せています。
  • 出力の出典。NIST AI 600-1 は、対応の例に、出力の出典と引用を確かめることを挙げています。
  • 人による判断。デジタル庁のガイドライン（DS-920）は、政府での利用について、出力を職員が判断してから使うかどうかを、リスクを判定する軸の1つにしています。
  • 値の検証。構造化出力について、Google の文書は、値をアプリケーションの側で検証するよう求めています。

言い切れないことは、何ですか

  • ハルシネーションを無くせるとは言えません。日本の「AI 事業者ガイドライン」（第1.2版）は、RAG の活用などによって、抑制が期待されていると述べています。
  • temperature を 0 にすれば出力が毎回同じになる、とは言えません。Anthropic の用語集は、0 にしても完全には同じにならないとしています。
  • コンテキストウィンドウが大きければ、長い文書を入れても正確だ、とは言えません。Anthropic の文書（Context windows）は、トークンの数が増えるほど、正確さと思い出す力が下がる現象に触れています。
  • 推論モデルが人のように考えている、とは言えません。Chain-of-Thought の論文は、モデルが実際に推論しているかどうかは未解決の問いだとしています。
  • 知識のカットオフより前のことなら何でも知っている、とは言えません。

合う書き方と、temperature を設定できるかどうかは、モデルによって違います。個別のモデルの上限、期日、設定は変わります。使う時点の、開発元の文書で確かめる事項です。

関連するページ

出典

確かめる

この記事の内容から、2 問です。選ぶと、その場で答えと説明が出ます。

問い 1コンテキストウィンドウに含まれるものは、どれですか。

問い 2temperature を 0 にしたときの出力について、本文の説明に合うものはどれですか。

このページを共有する

課題を相談する

読んだ内容を、自社の状況に当てはめたいときは、いまの状況と課題をお知らせください。製品が決まっていなくても、相談できます。大学との共同研究と、教材や文書づくりの支援で得た知見をもとに、進め方を一緒に整理します。

このコラムの内容について相談する

コラムの一覧へ ›

気になる0