AIの有料プランやAPIの説明を見ると、必ず出てくる言葉があります。「トークン」。この記事で片付けましょう。
ひとことで言うと、トークンはAIが言葉を扱う最小単位。AIの世界の「通貨」であり「ものさし」で、料金も、一度に扱える上限も、全部これで数えます。
このシリーズの索引はAIの仕組みがわかる5つの言葉。本記事は第2回。第1回はLLMとは。
AIは文章を「ブロック」で読んでいる
LLMは文章をそのまま読んでいません。細かい部品に区切って処理しています。この部品がトークンです。
たとえるならレゴブロック。私たちには一続きの文に見えても、AIから見ると「今日／は／いい／天気」のようにブロックの列です。
- 英語：およそ1単語＝1トークン前後
- 日本語：1文字で1〜1.3トークン程度。漢字・ひらがなの混ざり方で変わる
同じ内容でも、言語や書き方でブロック数が変わります。日本語は英語よりトークンが多くなりがちです。
なぜ知っておく必要があるか：お金と上限
| 場面 | トークンで決まること | 対策 |
|---|---|---|
| 料金 | APIや有料プランの課金は「読んだトークン数＋書いたトークン数」。電気メーターと同じで、使った分だけ回る | 必要な部分だけ渡す。長い回答を頼みすぎない |
| 上限 | AIが一度に扱える量（コンテキストウィンドウ）はトークン数で決まる。「貼り付けたら途中で切れた」「答えが尻切れ」はこれ | 資料は要点や必要な章だけ。長い会話は要約して新しい会話へ |
| 速さ | 書くトークンが多いほど時間がかかる | 「箇条書きで」「結論だけ」と出力の形を指定する |
「長い資料を読ませれば読ませるほど、長い回答を書かせるほど、メーターが回る」。だから「必要な部分だけ渡す」が節約の基本になります。これは節約だけでなく精度にも効きます。関係ない情報が少ないほど、AIは目の前の仕事に集中できるからです。
使いこなす人の感覚
- 渡す情報は「多く、でも無駄なく」。 トークンは有限なので、関係ない資料を丸ごと貼るのは損。関係する部分を選んで渡すと、安くて速くて精度も上がる
- 日本語で損をしない。 英語に比べてブロック数が多いぶん、要点を絞って渡す意識を持つ。わざわざ英語に翻訳して渡す必要はありません
- 数字は丸めて覚える。 「日本語1文字≒1トークン強」「A4 1枚≒1,000〜1,500トークン」くらいの目安で十分
今日やってみる（5分）
- 「トークナイザー」と検索して、無料のトークン数カウントツールを開く（OpenAIのTokenizerなど）
- 自分がよくAIに貼る文章を貼って、何トークンになるか見る。同じ内容を英語にして比べると、日本語の多さが実感できます
- 使っているAIに「この会話は今どれくらいトークンを使っている？」と訊いてみる（概算が返ります）
用語メモ
- トークン：AIが言葉を扱う最小単位。文字でも単語でもない「部品」
- トークナイザー：文章をトークンに切り分ける仕組み・ツール
- 入力トークン／出力トークン：AIが読んだ量／書いた量。料金は別々に数えることが多い
- コンテキストウィンドウ：一度に扱えるトークン数の上限 → コンテキストウィンドウとは
まとめ
トークンを知ると、料金表と「途中で切れた」現象の両方が読めるようになります。次は、その上限がAIの振る舞いをどう決めているか、コンテキストウィンドウとはへ。
手を動かして確かめたい方は、月1回のAI勉強会の案内登録をどうぞ。