トークン

トークンとは、AIがテキストを処理する際の最小単位のこと。英語なら1単語＝約1トークン、日本語なら1文字＝1〜数トークン程度になる。