トークン

概要

AIにおけるトークン（Token）とは、大規模言語モデル（LLM）がテキストを処理する際の最小単位のことである。

AIは文章をそのまま理解するのではなく、意味のある塊（単語や文字の一部）に分解してから数値化して処理する。この分解された欠片がトークンである。

英語なら「1単語≒1トークン」に近いが、日本語の場合はひらがなや漢字が複雑なため「1文字≒1トークン〜数トークン」と変動する。ChatGPTの利用料金や、一度に入力できる量（コンテキストウィンドウ）は、このトークン数を基準に計算される。

関連語

• コンテキストウィンドウ
• LLM
• ChatGPT
• 自然言語処理
• API

由来・語源

(記述募集中)

使用例

(記述募集中)

関連用語

• (なし)